DE102008006375A1 - Überwachungssystem - Google Patents

Überwachungssystem Download PDF

Info

Publication number
DE102008006375A1
DE102008006375A1 DE102008006375A DE102008006375A DE102008006375A1 DE 102008006375 A1 DE102008006375 A1 DE 102008006375A1 DE 102008006375 A DE102008006375 A DE 102008006375A DE 102008006375 A DE102008006375 A DE 102008006375A DE 102008006375 A1 DE102008006375 A1 DE 102008006375A1
Authority
DE
Germany
Prior art keywords
light source
vehicle
pixels
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102008006375A
Other languages
English (en)
Other versions
DE102008006375B4 (de
Inventor
Toru Saito
Tsutomu Tanzawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK, Fuji Heavy Industries Ltd filed Critical Fuji Jukogyo KK
Publication of DE102008006375A1 publication Critical patent/DE102008006375A1/de
Application granted granted Critical
Publication of DE102008006375B4 publication Critical patent/DE102008006375B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

Es wird ein Überwachungssystem bereitgestellt, das ein Bildaufnahmemodul, um ein Bild des Umfelds eines Eigenfahrzeugs aufzunehmen, eine Objekterfassungseinheit, um ein Objekt aus einem aufgenommenen Bild zu erfassen, eine Überwachungsbereichseinstelleinheit, um einen Überwachungsbereich auf einer Seite des Objekts auf Grundlage eines Randabschnitts des Objekts anzusetzen, eine Bestimmungseinheit, um das Vorhandensein einer Lichtquelle innerhalb des Überwachungsbereichs zu bestimmen, und eine Einstellungseinheit umfasst, um einen Belichtungsbetrag der Bildaufnahme und/oder eine Leuchtdichte eines aus der Bildaufnahme ausgegebenen Pixels einzustellen, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf ein Überwachungssystem und im Spezielleren auf ein Überwachungssystem, das in einem Fahrzeug montiert werden kann, und bei dem ein Belichtungsbetrag einer Kamera eingestellt werden kann, die ein Bild vom Umfeld eines Eigenfahrzeugs aufnimmt.
  • Beschreibung des verwandten Stands der Technik
  • In den letzten Jahren schritt die Entwicklung von Technologien voran, bei denen ein dreidimensionales Objekt, das im Randbereich eines Fahrzeugs wie eines Personenkraftwagens liegt, erfasst wird, indem ein Bild analysiert wird, das von einer CCD-Kamera (CCD – Charge Coupled Device) aufgenommen wurde, analysiert wird (siehe zum Beispiel JP-A-7-225892 ). Diese Technologien werden zum Beispiel auf Technologien zur Fahrsicherheit von Fahrzeugen angewendet, wobei die Kollisionsmöglichkeit des Fahrzeugs mit dem so erfassten dreidimensionalen Objekt beurteilt wird, um ein akustisches Warnsystem, das dem Fahrer einen Alarmhinweis geben soll, oder eine automatische Lenksteuerung oder eine automatische Bremssteuerung zu aktivieren, um die mögliche Kollision zu vermeiden.
  • Bei der Erfassung des dreidimensionalen Objekts ist es wichtig, ein vorausfahrendes Fahrzeug, dessen Schlusslichter, ein entgegenkommendes Fahrzeug, einen Fußgänger, der auf der Straße geht, und andere Hindernisse wie Fahrzeuge, die entlang der Seite der Straße geparkt sind, genau zu erfassen. Zusätzlich muss eine Belichtung der Kamera angemessen erfolgen, um ein Bild aufzunehmen, das eine genaue Erfassung der dreidimensionalen Objekte zulässt, um diese dreidimensionalen Objekte auf der Straße aus einem von der Kamera aufgenommenen Bild zu erfassen.
  • Kameras wie eine CCD-Kamera verfügen normalerweise über eine Funktion, um die geeignete Belichtungseinstellung automatisch vorzunehmen. Zusätzlich wurde ein System zur Einstellung der Belichtung einer Kamera vorgeschlagen, um mit einem Fall fertig zu werden, bei dem ein Bildaufnahmebereich der Kamera verdunkelt ist oder sich eine Helligkeit in dem Bildaufnahmebereich stark verändert; den das Fahrzeug in der Nacht oder bei einer Fahrt durch einen Tunnel oder bei der Ein- und Ausfahrt in den/aus dem Tunnel durchfährt (siehe z. B. JP-A-07-081459 und JP-A-2005-148308 ).
  • Im Übrigen erfolgt entsprechend den Funktionen, welche die CCD-Kamera normalerweise besitzt, und den in der JP-A-07-081459 und JP-A-2005-148308 offenbarten Funktionen die geeignete Belichtungseinstellung für die Helligkeit in dem Bildaufnahmebereich der Kamera oder in einem Bereich, der in einem von der Kamera aufgenommenen Bild angesetzt ist. Zum Beispiel erfolgt eine automatische Steuerung an einem Eigenfahrzeug, das einem vorausfahrenden Fahrzeug folgt, auf Grundlage von Information, die als Ergebnis einer Erfassung des vorausfahrenden Fahrzeugs durch eine Kamera zur Verfügung steht. Dann tritt Licht bei einer Fahrt bei Nacht oder durch einen Tunnel aus einem Frontscheinwerfer eines entgegenkommenden Fahrzeugs in die Kamera des Eigenfahrzeugs ein, wobei das entgegenkommende Fahrzeug auf der rechten Seite (oder einer linken Seite in den Vereinigten Staaten von Amerika u. dgl.) des vorausfahrenden Fahrzeugs erscheint.
  • Wenn dies stattfindet, erstreckt sich, auch wenn die Belichtung der Kamera wie vorstehend durchgeführt wird, das Licht des Frontscheinwerfers des entgegenkommenden Fahrzeugs hell und breit auf einem von der Kamera aufgenommenen Bild und unterbricht dadurch die Aufnahme der rechten Seite des vorausfahrenden Fahrzeugs durch die Kamera, wodurch eine Gelegenheit entstehen kann, bei der das vorausfahrende Fahrzeug nicht erfasst wird oder ein großer Erfassungsfehler es als das entgegenkommende Fahrzeug erscheinen lässt. Obwohl außerdem ein Fall besteht, bei dem das vorausfahrende Fahrzeug auf Grundlage von Positionsinformation über Schlusslichter des vorausfahrenden Fahrzeugs, wie in 12 gezeigt ist, erfasst wird, was später noch beschrieben wird, werden das Licht der Schlussleuchte des vorausfahrenden Fahrzeugs und das Licht des Frontscheinwerfers des entgegenkommenden Fahrzeugs insgesamt als sehr heller Bereich aufgenommen. Im Ergebnis besteht ein Risiko, dass das Schlusslicht des vorausfahrenden Fahrzeugs nicht genau aufgenommen werden kann.
  • Darüber hinaus werden nach einem System, das in der JP-A-07-225892 offenbart ist, zwei Kameras verwendet, um ein Bild des Umfelds vor einem Eigenfahrzeug auf stereoskopische Weise aufzunehmen, um einen Abstand zu einem dreidimensionalen Objekt, das in einem Randbereich des Frontfelds des Eigenfahrzeugs vorhanden ist, durch Stereoabgleich zu berechnen, um dadurch das dreidimensionale Objekt zu erfassen. Obwohl wie durch einen schraffierten Abschnitt in 14 dargestellt ist, die rechtsseitige Kamera des Eigenfahrzeugs MC im System Aufnahmen machen kann, entsteht ein Bereich, der für die linksseitige Kamera unsichtbar liegt, und zwar deswegen, weil die Sichtbarkeit des Bereichs von der linksseitigen Kamera aus durch das vorausfahrende Fahrzeug unterbrochen ist.
  • Wenn dann ein entgegenkommendes Fahrzeug Vonc in dem Bereich vorhanden ist, wie in 15 gezeigt ist, wird Licht Lhead eines Frontscheinwerfers des entgegenkommenden Fahrzeugs Vonc von der rechtsseitigen Kamera aufgenommen, aber nicht von der linksseitigen Kamera. Aufgrund dessen wird die Leuchtdichte eines Bilds, das von der rechtsseitigen Kamera aufgenommen wird, insgesamt um das Licht Lhead des Frontscheinwerfers herum heller als diejenige eines von der linksseitigen Kamera aufgenommenen Bilds, was zu einem Fall führt, bei dem ein Stereoabgleich nicht genau durchgeführt werden kann, der auf Grundlage der Korrelation zwischen den Leuchtdichten der beiden aufgenommenen Bilder durchgeführt wird.
  • Wenn versucht wird, einen Stereoabgleich auf Grundlage der beiden aufgenommenen Bilder durchzuführen, kann sich außerdem eine Gelegenheit ergeben, bei der ein Stereoabgleich aufgrund des Einflusses des Lichts Lhead des Frontscheinwerfers des entgegenkommenden Fahrzeugs in einem rechtsseitigen Abschnitt des vorausfahrenden Fahrzeugs Vah oder an der Stelle des rechtsseitigen Schlusslichts des vorausfahrenden Fahrzeugs Vah nicht genau durchgeführt werden kann, wodurch unweigerlich ein großer Erfassungsfehler bei einem Abstand vom Eigenfahrzeug MC zum vorausfahrenden Fahrzeug Vah entstehen muss, das auf Grundlage des Stereoabgleichs erfasst wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Eine oder mehrere Ausführungsform/en der Erfindung stellt bzw. stellen ein Überwachungssystem bereit, das eine geeignete Belichtungseinstellung für eine Bildaufnahme durchführt, wenn eine Lichtquelle wie ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs, der starkes Licht abgibt, in einem von der Bildaufnahme aufgenommenen Bild aufgenommen ist, wodurch ein Einfluss des starken Lichts gemindert oder ausgemerzt wird.
  • Nach einem ersten Aspekt der Erfindung wird ein Überwachungssystem mit einer Bildaufnahme, um ein Bild des Umfelds eines Eigenfahrzeugs aufzunehmen, einer Objekterfassungseinheit, um ein Objekt aus dem aufgenommenen Bild zu erfassen, einer Überwachungsbereichseinstelleinheit, um einen Überwachungsbereich auf einer Seite des Objekts auf Grundlage eines Randabschnitts des Objekts anzusetzen, einer Bestimmungseinheit, um das Vorhandensein einer Lichtquelle innerhalb des Überwachungsbereichs zu bestimmen, und einer Einstellungseinheit bereitgestellt, um eine Belichtung der Bildaufnahme und/oder eine Leuchtdichte eines aus der Bildaufnahme ausgegebenen Pixels einzustellen, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, wobei eine Querbreite des Objekts erfasst und aktualisiert wird, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle nicht vorhanden ist, und wobei, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, die Überwachungsbereichseinstelleinheit den Überwachungsbereich auf Grundlage eines Randabschnitts auf einer Seite des Objekts ansetzt, die einer Seite von diesem entgegengesetzt ist, auf der die Lichtquelle vorhanden ist, und die Querbreite des Objekts gespeichert wird.
  • Nach einem zweiten Aspekt der Erfindung kann die Bestimmungseinheit bestimmen, dass die Lichtquelle vorhanden ist, wenn eine vorbestimmte Anzahl oder darüber von Pixeln erfasst wird, deren Leuchtdichte einen vorbestimmten Schwellenwert im Überwachungsbereich überschreitet.
  • Nach einem dritten Aspekt der Erfindung kann die Bestimmungseinheit bestimmen, dass die Lichtquelle vorhanden ist, wenn Pixel erfasst werden, deren Leuchtdichte den ersten Schwellenwert im Überwachungsbereich überschreitet, die Anzahl von Pixeln in einem Pixelbereich berechnet wird, in dem aneinander angrenzende Pixel der so erfassten Pixel gehäuft vorkommen, und bestimmt wird, dass die berechnete Anzahl von Pixeln einen zweiten vorbestimmten Schwellenwert überschreitet.
  • Nach einem vierten Aspekt der Erfindung kann die Einstellungseinheit, wenn das Vorhandensein der Lichtquelle bestimmt wird, den Belichtungsbetrag der Bildaufnahme und/oder die Leuchtdichte des Pixels, das aus der Bildaufnahme ausgegeben wird, Schritt für Schritt einstellen, bis bestimmt wird, dass die Lichtquelle in darauffolgenden Abtastzyklen nicht vorhanden ist, oder bis ein Einstellungsbetrag einen vorgegebenen Grenzbetrag erreicht.
  • Nach einem fünften Aspekt der Erfindung kann das Fahrzeugaußenüberwachungssystem einen Abstandsdetektor umfassen, um aus dem Bild einen Abstand in einem wirklichen Raum zu dem Objekt zu berechnen, das von der Objekterfassungseinheit erfasst wird, wobei, wenn das Vorhandensein der Lichtquelle bestimmt wird, der Abstandsdetektor den Abstand auf Grundlage von Positionsinformation des Objekts berechnen kann, die Positionsinformation des Objekts über die Seite ausschließt, auf der die Lichtquelle vorhanden ist.
  • Nach einem sechsten Aspekt der Erfindung kann die Objekterfassungseinheit eine Querbewegungsgeschwindigkeit des Objekts auf Grundlage einer Positionsveränderung des Objekts im wirklichen Raum innerhalb eines Abtastzyklus erfassen, wobei, wenn das Vorhandensein der Lichtquelle bestimmt wird, die Objekterfassungseinheit die Querbewegungsgeschwindigkeit auf Grundlage der Positionsinformation des Objekts erfasst, welche die Positionsinformation des Objekts über die Seite des Objekts ausschließt, auf der die Lichtquelle vorhanden ist.
  • Nach dem ersten Aspekt der Erfindung ist der Überwachungsbereich für eine Lichtquelle an einer geeigneten Position auf der Seite des Objekts vorgesehen, die als die Lichtquelle aufweisend aufgenommen ist, die starkes Licht abgibt. Somit ist es, wenn eine solche Lichtquelle vorhanden ist, möglich, den Einfluss der Lichtquelle genau zu mindern oder auszumerzen, indem der Belichtungsbetrag der Bildaufnahme oder die Leuchtdichte eines Pixels, das aus der Bildaufnahme ausgegeben wird, eingestellt wird.
  • Zusätzlich kann das Vorhandensein einer Lichtquelle auf eine sichergestellte Weise überwacht werden, indem das Vorhandensein einer Lichtquelle durch Zählen der Anzahl von Pixeln mit hoher Leuchtdichte im Überwachungsbereich bestimmt wird, eine Querbreite des Objekts zur Aktualisierung erfasst wird, während keine Lichtquelle innerhalb des Überwachungsbereichs vorhanden ist, und wenn bestimmt wird, dass eine Lichtquelle innerhalb des Überwachungsbereichs vorhanden ist, der Überwachungsbereich an der Position angesetzt wird, der um einen Abstand, der gleich der Querbreite ist, von dem Randabschnitt des Objekts weg liegt, der auf der zu der Seite entgegengesetzten Seite liegt, auf der die Lichtquelle vorhanden ist, um den Überwachungsbereich an der geeigneten Position anzusetzen.
  • Indem nach dem zweiten Aspekt der Erfindung bestimmt wird, dass eine Lichtquelle vorhanden ist, wenn die vorbestimmte Anzahl von Pixeln oder darüber, die eine hohe Leuchtdichte haben, im Überwachungsbereich erfasst wird, ist es möglich, mühelos und klar zu bestimmen, ob eine Lichtquelle innerhalb des Überwachungsbereichs vorhanden ist oder nicht.
  • Indem nach dem dritten Aspekt der Erfindung Pixel mit hoher Leuchtdichte innerhalb des Überwachungsbereichs erfasst werden, die aneinander angrenzenden Pixel mit hoher Leuchtdichte zu dem Pixelbereich zusammenfasst werden und die Anzahl von Pixeln in dem Pixelbereich berechnet wird, und bestimmt wird, dass eine Lichtquelle vorhanden ist, wenn die so berechnete Anzahl von Pixeln gleich einer oder größer ist als eine vorbestimmte Anzahl, um dadurch die Pixel mit hoher Leuchtdichte in dem Überwachungsbereich genau als Pixel anzugeben, welche die Lichtquelle aufgenommen haben, um die Bestimmung des Vorhandenseins der Lichtquelle zu ermöglichen. Deshalb kann das Vorhandensein der Lichtquelle mühelos auf eine sichergestellte Weise bestimmt werden.
  • Indem nach dem vierten Aspekt der Erfindung die Höhe einer Belichtungseinstellung graduell und Schritt für Schritt eingestellt wird, die durch das Fahrzeugaußenüberwachungssystem zwangsläufig separat von der und zusätzlich zur Belichtungseinstellungsfunktion durchgeführt wird, welche die Bildaufnahme besitzt, ist es möglich, ein Risiko zu vermeiden, dass andere Abschnitte als Lichtquellen, wie etwa die Schlusslichter des vorausfahrenden Fahrzeugs und die Frontscheinwerfer des entgegenkommenden Fahrzeugs nicht unterschieden werden können, indem die Höhe der zwangsläufigen Belichtungseinstellung drastisch erhöht wird. Da das Objekt selbst nicht erfasst werden kann, ist es möglich, die zwangsläufige Belichtungseinstellung genau durchzuführen.
  • Aufgrund dessen können die Erfassung der Schlusslichter des vorausfahrenden Fahrzeugs und der Stereoabgleich auf dem Referenzbild und dem Vergleichsbild genau durchgeführt werden, um das Objekt und die Lichtquelle wie vorstehend beschrieben genau zu erfassen.
  • Indem nach dem fünften Aspekt der Abstand zum Objekt auf Grundlage der Positionsinformation des Objekts berechnet wird, welche die Positionsinformation des Objekts über die Seite ausschließt, auf der die Lichtquelle vorhanden ist, kann der Abstand zum Objekt genau berechnet werden, ohne von der Lichtquelle beeinträchtigt zu sein. Deshalb ist es möglich, nicht nur die zwangsläufige Belichtungseinstellung genau durchzuführen, sondern auch die Zuverlässigkeit der Erfassung des Abstands zum Objekt, wie auch des Objekts und der Lichtquelle auf Grundlage des so erfassten Abstands zu erhöhen.
  • Nach dem sechsten Aspekt der Erfindung kann die Querbewegungsgeschwindigkeit des Objekts genau berechnet werden, ohne durch die Lichtquelle beeinträchtigt zu sein, indem die Querbewegungsgeschwindigkeit auf Grundlage der Positionsinformation des Objekts berechnet wird, welche die Positionsinformation des Objekts über die Seite ausschließt, auf der die Lichtquelle vorhanden ist.
  • Andere Aspekte und Vorteile der Erfindung gehen aus der folgenden Beschreibung und den beigefügten Ansprüchen hervor.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockschema, das den Aufbau eines Fahrzeugaußenüberwachungssystems nach einer Ausführungsform der Erfindung zeigt.
  • 2 ist ein Diagramm, das ein Beispiel eines Referenzbilds zeigt.
  • 3 ist ein Diagramm, das pro Abschnitt von Abständen aufgetragene Punkte in einem wirklichen Raum zeigt.
  • 4 ist ein Diagramm, das Gruppen zeigt, die sich ergeben, wenn die in 3 gezeigten Punkte zu Gruppen zusammengefasst werden.
  • 5 ist ein Diagramm, das Teilgruppen zeigt, die entstehen, wenn die in 4 gezeigten Gruppen in Klassen eingeteilt werden.
  • 6 ist ein Diagramm, das dreidimensionale Objekte zeigt, die durch rechteckige Rahmenlinien auf dem Referenzbild angegeben sind.
  • 7 ist ein Diagramm, das einen geometrischen Fahrtort und einen Fahrtweg des Eigenfahrzeugs erläutert.
  • 8 ist ein Ablaufschema, das einen Ablauf von Vorgängen zeigt, die teilweise in einer Überwachungsbereichseinstelleinheit ablaufen.
  • 9 ist ein Schema, das einen Überwachungsbereich zeigt, der auf der Seite des Objekts angesetzt ist.
  • 10 ist eine grafische Darstellung, die einen Höhenübergang einer zwangsläufigen Belichtungseinstellung zeigt.
  • 11 ist ein Diagramm, das Pixelbereiche erklärt, in denen Pixel mit einer hohen Leuchtdichte und angrenzende Pixel mit der hohen Leuchtdichte in einem Überwachungsbereich zusammengefasst sind.
  • 12 ist ein Diagramm, das Licht eines Frontscheinwerfers eines entgegenkommenden Fahrzeugs und Licht einer Schlussleuchte eines vorausfahrenden Fahrzeugs als Einheit erfasst zeigt.
  • 13 ist ein Diagramm, das Licht eines Frontscheinwerfers eines entgegenkommenden Fahrzeugs und Licht einer Schlussleuchte eines vorausfahrenden Fahrzeugs separat erfasst zeigt.
  • 14 ist ein Diagramm, das einen Bereich zeigt, der von einer der beiden Kameras aufgenommen wird, aber nicht von der anderen Kamera.
  • 15 ist ein Diagramm, das zwei unter der in 14 gezeigten Bedingung aufgenommene Bilder zeigt.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Als eine bevorzugte Ausführungsform, bei der ein Überwachungssystem auf ein in 1 gezeigtes Fahrzeug angewendet ist, ist ein Fahrzeugaußenüberwachungssystem 1 nach der Ausführungsform so ausgelegt, dass es hauptsächlich eine Positionsinformationserfassungseinheit 9 umfasst, die sich aus einem Bildaufnahmemodul 2, einem Wandlermodul 3, einem Bildverarbeitungsmodul 6 u. dgl. und einem Computer 10 zusammensetzt, der eine Objekterfassungseinheit 11 umfasst.
  • Festzuhalten ist, dass die Positionsinformationserfassungseinheit 9 im Detail in den veröffentlichten Dokumenten der ungeprüften japanischen Patentanmeldungen offenbart sind, die vom Anmelder dieser Patentanmeldung eingereicht wurden und die JP-A-5-114099 , JP-A-5-265547 , JP-A-6-266828 , JP-A-10-283461 , JP-A-10-283477 und JP-A-2006-72495 umfassen, und deshalb auf die vorstehend angeführten veröffentlichten Dokumente für eine ausführliche Beschreibung der Positionsinformationserfassungseinheit 9 Bezug genommen werden sollte. Die Einheit wird hier nachstehend kurz beschrieben.
  • Bei dem Bildaufnahmemodul 2 handelt es sich um eine Stereokamera, die sich aus zwei Kameras, einer Hauptkamera 2a und einer Unterkamera 2b zusammensetzt, die miteinander synchronisiert sind, und die jeweils einen Bildsensor wie einen CCD- oder einen CMOS-Sensor enthalten und beispielsweise in der Nähe eines Innenrückspiegels so angebracht sind, dass sie in einer Querrichtung eines Eigenfahrzeugs voneinander beabstandet sind, und die Stereokamera dazu ausgelegt ist, in einem vorbestimmten Abtastzyklus ein Bild einer Landschaft um das Frontfeld des Eigenfahrzeugs aufzunehmen, das die Straße vor diesem umfasst, um ein Paar von Bildern auszugeben.
  • Die beiden CCD-Kameras sind als Bildaufnahmemodul 2 vorgesehen, und als eine Funktion, mit der die CCD-Kamera normalerweise ausgestattet ist, wird eine Belichtungseinstellung automatisch durchgeführt, um eine optimale Belichtung zu erzielen. Hier umfasst die Belichtungseinstellung zumindest eine Blendenzeiteinstellung, eine Verstärkungsfaktorumschaltung und eine Auswahl aus einer LUT (Look Up Table), also Nachschlagtabelle, zur Leuchtdichtenumrechnung, und diese werden generell eingestellt.
  • Obwohl nichts über die Einstellung einer Irisblende erwähnt wurde, weil die in dieser Ausführungsform verwendete CCD-Kamera über keine Iris verfügt, ist außerdem im Falle, dass das Bildaufnahmemodul 2 eine andere Funktion als eine Iris zum Durchführen einer Belichtungseinstellung hat, das zusätzliche Belichtungseinstellungsbauteil in der allgemeinen Ausführung der automatischen Belichtungseinstellung enthalten, um eine optimale Belichtung zu erzielen.
  • Von den beiden Kameras, die das Bildaufnahmemodul 2 ausmachen, liegt die Hauptkamera 2a näher am Fahrer, um zum Beispiel ein in 2 gezeigtes Referenzbild T aufzunehmen. Und die Unterkamera 2b nimmt ein Vergleichsbild zum Referenzbild T auf.
  • Bilddaten, die von der Hauptkamera 2a und der Unterkamera 2b ausgegeben werden, werden von A/D-Wandlern 3, die das Wandlermodul 3 bilden, von analogen zu digitalen Bildern umgewandelt, die eine Leuchtdichte mit einem vorbestimmten Leuchtdichtegrad haben, der sich für jedes der Pixel zum Beispiel auf Grundlage einer Grauskala von 256 Grau- oder Leuchtdichtepegeln ausdrückt. Die digitalen Bilder werden von einer Bildkorrektureinheit 4 korrigiert, um Abweichung und Rauschen zu beseitigen. Die sich ergebenden Bilder werden in einem Bilddatenspeicher 5 gespeichert und dann an den Computer 10 übertragen.
  • In einem Bildprozessor 7 des Bildverarbeitungsmoduls 6 erfolgen ein Stereoabgleich- und ein Filtervorgang an den Bilddaten des Referenzbilds T und des Vergleichsbilds, um eine Disparität dp zu berechnen, die einem Abstand im wirklichen Raum entspricht. Im Nachstehenden wird ein Bild, dem Disparität dp zugewiesen ist, als Bereichsbild bezeichnet. Information über die Disparität dp, die auf diese Weise berechnet wird, wird in einem Bereichsdatenspeicher 8 des Bildverarbeitungsmoduls 6 gespeichert.
  • Punkte (X, Y, Z) im wirklichen Raum, die sich ergeben, wenn davon ausgegangen wird, dass die Disparität dp, ein Punkt (i, j) im Bereichsbild und ein Punkt auf der Straßenoberfläche, der direkt unter einer Mitte zwischen den beiden Kameras 2a, 2b liegt, Originalpunkte sind, und dass eine Fahrzeugbreite oder Querrichtung des Eigenfahrzeugs eine X-Achsenrichtung ist, eine Fahrzeughöhe oder vertikale Richtung eine Y-Achsenrichtung ist, und eine Fahrzeuglänge oder Längsrichtung eine Z-Achsenrichtung ist, werden gleichmäßig durch Koordinatentransformationen miteinander in Beziehung gesetzt, die in den nachstehenden Gleichungen (1) bis (3) ausgedrückt sind. Zusätzlich bezeichnet in den jeweiligen nachstehenden Gleichungen CD den Abstand zwischen den beiden Kameras, PW den Sehfeldwinkel, CH die Montagehöhe der beiden Kameras, IV und JV eine i-Koordinate und eine j-Koordinate auf dem Bereichsbild an einem unendlichen Punkt vor dem Eigenfahrzeug und DP eine Flucht- oder Verschwindungspunktdisparität. Y = CD/2 + Z × PW × (i – IV) (1) Y = CH + Z × PW × (j – IV) (2) Z = CD/(PW × (dp – DP)) (3)
  • Die Positionsinformationserfassungseinheit 9 zum Messen eines Abstands Z vom Eigenfahrzeug zu einem dreidimensionalen Objekt, das in einem vorbestimmten Bereich vor dem Eigenfahrzeug liegt, d. h. die Disparität dp, die durch die vorstehende Gleichung (3) gleichmäßig mit dem Abstand Z in Bezug gesetzt ist, setzt sich aus den sie bildenden Modulen zusammen, die von der Bildaufnahmeeinheit 2 zum Bildverarbeitungsmodul 6 angeordnet sind, das den Bildprozessor 7 und den Bereichsdatenspeicher 8 umfasst, und die Positionsinformationserfassungseinheit 9 entspricht der Abstandserfassungseinheit zur Berechnung des Abstands Z zwischen dem Eigenfahrzeug und dem vorausfahrenden Fahrzeug.
  • Festzuhalten ist, dass sich die Abstandserfassungseinheit in jeder Form darstellen kann, solange sie nur den Abstand Z zwischen dem Eigenfahrzeug und dem vorausfahrenden Fahrzeug berechnen oder messen kann, und zusätzlich zu der in der Ausführungsform beschriebenen Auslegung kann die Abstandserfassungseinheit zum Beispiel aus einer Radareinheit zum Abgeben eines Laserstrahls oder Infrarotlichts vor dem Fahrzeug bestehen, um den Abstand Z zu dem Objekt auf Grundlage von Information über ihr reflektiertes Licht zu messen, und was das Verfahren zum Erfassen des Abstands betrifft, so ist kein besonderes Verfahren festgelegt.
  • Der Computer 10 setzt sich aus einer CPU, einem ROM, einem RAM und einer Eingabe-/Ausgabeschnittstelle zusammen, die an einen Bus angeschlossen sind. Außerdem sind Sensoren Q wie etwa ein Fahrzeuggeschwindigkeitssensor, ein Gierratensensor und ein Lenksensor zum Messen eines Dreh- oder Lenkwinkels eines Lenkrads an den Computer 10 angeschlossen. Zusätzlich kann anstelle des Gierratensensors eine Vorrichtung verwendet werden, die eine Gierrate aus der Fahrzeuggeschwindigkeit des Eigenfahrzeugs schätzt.
  • Wie in 1 gezeigt ist, umfasst der Computer 10 eine Objekterfassungseinheit 11, eine Überwachungsbereichseinstelleinheit 12, eine Bestimmungseinheit 13 und eine Einstellungseinheit 14, und darüber hinaus umfasst der Computer 10 einen nicht gezeigten Speicher. Zusätzlich werden notwendige Daten von den Sensoren Q in die jeweiligen Einheiten des Computers 10 eingegeben.
  • Die Objekterfassungseinheit 11 ist auf Grundlage eines Fahrzeugaußenüberwachungssystems aufgebaut, das in den veröffentlichten Dokumenten der Patentanmeldungen, die vom Anmelder dieser Patentanmeldung eingereicht wurden, wie etwa der JP-A-283461 offenbart ist. Bei der Objekterfassungseinheit 11 erfolgt zuerst ein Erfassungsvorgang für dreidimensionale Objekte, da aber der Vorgang im Detail in diesen ungeprüften Patentveröffentlichungen offenbart ist, sollte auf diese Dokumente für eine ausführliche Beschreibung des in Frage kommenden Moduls Bezug genommen werden.
  • Obwohl ein vorausfahrendes Fahrzeug als ein Objekt beschrieben wird, das durch die Objekterfassungseinheit 11 erfasst werden soll, ist das Objekt nicht darauf beschränkt. Die Objekterfassungseinheit 11 führt einen Erfassungsvorgang für dreidimensionale Objekte durch, um ein dreidimensionales Objekt aus dem Referenzbild T zu erfassen, um dann einen Schätzvorgang für einen geometrischen Fahrtort durchzuführen, um einen geometrischen Ort zu schätzen, entlang dem das Eigenfahrzeug ab sofort fahren wird (im Nachstehenden als geometrischer Fahrtort bezeichnet), und um schließlich einen Objekterfassungsvorgang durchzuführen, um das vorausfahrende Fahrzeug aus den so erfassten dreidimensionalen Objekten auf Grundlage des so geschätzten geometrischen Fahrtorts zu erfassen.
  • Bei dem Erfassungsvorgang für dreidimensionale Objekte fasst die Objekterfassungseinheit 11 Information über aneinander angrenzende Positionen zu Gruppen zusammen, und zwar auf Grundlage von Positionsinformation von dreidimensionalen Objekten, d. h. Disparitäten dp, und stuft eine Disparität in jeder Gruppe in eine Teilgruppe, die im Wesentlichen parallel zur Querrichtung des Eigenfahrzeugs ist, und eine Teilgruppe ein, die im Wesentlichen parallel zur Fahrtrichtung des Eigenfahrzeugs ist, um ein dreidimensionales Objekt zu erfassen.
  • Speziell liest die Objekterfassungseinheit 11 das Bereichsbild aus dem Bereichsdatenspeicher 8 aus und unterteilt das Bereichsbild in streifenartige Abschnitte, die sich mit vorbestimmten Pixelbreiten in der vertikalen Richtung erstrecken. Dann setzt die Objekterfassungseinheit 11 nach der vorstehenden Gleichung (3) Disparitäten, die zu jedem streifenartigen Abschnitt gehören, in Abstände Z um, bereitet ein Histogramm für einen Abstand der so umgesetzten Abstände Z vor, der als über der Straßenoberfläche bestehend angeordnet ist, und betrachtet einen Abstand zu einem Abschnitt mit einem maximalen Grau- oder Leuchtdichtepegel als einen Abstand zu einem dreidimensionalen Objekt im streifenartigen Abschnitt. Die Objekterfassungseinheit 11 führt diesen Vorgangs an allen Abschnitten durch. Danach wird der Abstand, der jeden Abschnitt darstellt, als der Abstand Z angesehen.
  • Wenn zum Beispiel der Abstand Z für ein Bereichsbild berechnet wird, das aus dem in 2 gezeigten Referenzbild T hergestellt ist, und so berechnete Abstände Z für die jeweiligen Abschnitte in einem wirklichen Raum aufgetragen werden, werden die Abstände Z so aufgetragen, dass sie eine leichte Abweichung in Abschnitten der vor dem Eigenfahrzeug liegenden dreidimensionalen Objekte haben, die Abschnitten entsprechen, die dem Eigenfahrzeug MC zugewandt sind, wie in 3 gezeigt ist.
  • Die Objekterfassungseinheit 11 fasst Punkte der so aufgetragenen Punkte, die nebeneinander liegen, zu Gruppen G1 bis G7 zusammen, und zwar auf Grundlage des Abstands zwischen den nah beieinander liegenden Punkten und deren Richtungsabhängigkeit, wie in 4 gezeigt ist, und kennzeichnet Einstufungsteilgruppen der jeweiligen Gruppen, die sich jeweils aus Punkten zusammensetzen, die im Wesentlichen parallel zur Querrichtung des Eigenfahrzeugs MC ausgerichtet sind, d. h. die in X-Achsenrichtung befindlichen "Objekte" 01 bis 03, und Teilgruppen, die sich jeweils aus Punkten zusammensetzen, die im Wesentlichen parallel zur Fahrtrichtung des Eigenfahrzeugs MC sind, d. h. die in der Z-Achsenrichtung befindlichen "Seitenwände" S1 bis S4. Zusätzlich kennzeichnet die Objekterfassungseinheit 11 einen Schnittpunkt zwischen dem "Objekt" und der "Seitenwand" des dreidimensionalen Objekts als Eckpunkt C.
  • Auf diese Weise erfasst die Objekterfassungseinheit 11 "Objekt 01, Eckpunkt C, Seitenwand S1", "Seitenwand S2", "Objekt 02", "Objekt 03", "Seitenwand S3" und "Seitenwand S4" jeweils als dreidimensionale Objekte. Zusätzlich erfasst die Objekterfassungseinheit 11, wie in 6 gezeigt ist, die dreidimensionalen Objekte im Referenzbild T so, dass es sie mit rechteckigen Rahmenlinien umgibt.
  • Die Objekterfassungseinheit 11 speichert Information über die dreidimensionalen Objekte, die auf die vorstehende Weise erfasst werden, und Koordinaten von Endpunkten der jeweiligen Teilgruppen und Koordinaten von Scheitelpunkten der jeweiligen Rahmenlinien auf dem Referenzbild T und gibt sie nach Bedarf aus.
  • Anschließend schätzt die Objekterfassungseinheit 11 einen geometrischen Fahrtort des Eigenfahrzeugs auf Grundlage des Verhaltens des Eigenfahrzeugs. Speziell berechnet die Objekterfassungseinheit 11 einen Lenkeinschlag Cua des Eigenfahrzeugs auf Grundlage des Verhaltens des Eigenfahrzeugs wie etwa der Fahrzeuggeschwindigkeit V, der Gierrate γ und des Lenkwinkels 6 des Lenkrads des Eigenfahrzeugs, die von den Sensoren Q, wie etwa dem Fahrzeuggeschwindigkeitssensor, dem Gierratensensor und dem Lenkwinkelsensor eingegeben werden, und berechnet und schätzt einen geometrischen Fahrtort Lest des Eigenfahrzeugs MC auf Grundlage des so berechneten Lenkeinschlags Cua, wie in 7 im wirklichen Raum gezeigt ist.
  • Zum Beispiel kann auf Grundlage der Fahrzeuggeschwindigkeit V und der Gierrate y der Lenkeinschlag nach der folgenden Gleichung berechnet werden: Cua = γ/V (4)
  • Zusätzlich kann auf Grundlage der Fahrzeuggeschwindigkeit V und des Lenkwinkels 6 der Lenkeinschlag Cua nach den folgenden Gleichungen berechnet werden: Re = (1 + Asf·V2)·(Lwb/δ) (5) Cua = 1/Re (6),worin Re ein Drehradius, Asf ein Stabilitätsfaktor des Fahrzeugs und Lw ein Radstand ist.
  • Zusätzlich ist in dieser Ausführungsform, wie in 7 gezeigt ist, die Objekterfassungseinheit 11 dazu ausgelegt, einen der Fahrzeugbreite des Eigenfahrzeugs entsprechenden Bereich, der am geometrischen Fahrtort Lest zentriert ist, als Fahrtweg Rest des Eigenfahrzeugs zu erfassen. Die Objekterfassungseinheit 11 speichert Information über den geometrischen Fahrtort Lest und den Fahrtweg Rest des Eigenfahrzeugs MC, die auf die vorstehend beschriebene Weise geschätzt werden, im Speicher ab und gibt sie bei Bedarf aus.
  • Als Nächstes erfasst die Objekterfassungseinheit 11 ein vorausfahrendes Fahrzeug aus den erfassten dreidimensionalen Objekten auf Grundlage des geometrischen Fahrtorts Lest.
  • Die Objekterfassungseinheit 11 erfasst das dreidimensionale Objekt, das dem Eigenfahrzeug am nächsten ist, als ein vorausfahrendes Fahrzeug, und erfasst speziell ein vorausfahrendes Fahrzeug unter den dreidimensionalen Objekten, die auf dem Fahrtweg Rest des Eigenfahrzeugs liegen, die im Schätzvorgang für den geometrischen Fahrtort als das dem Eigenfahrzeug am nächsten liegende dreidimensionale Objekt, d. h. das Objekt 02 im vorstehend beschriebenen Beispiel erfasst wurde.
  • Darüber hinaus liest die Objekterfassungseinheit 11 die Information über das vorausfahrende Fahrzeug, die zuvor erfasst wurde, aus dem Speicher aus und berechnet eine Wahrscheinlichkeit, dass es sich bei dem zuvor so erfassten Fahrzeug und dem diesmal erfassten dreidimensionalen Objekt um dasselbe dreidimensionale Objekt handelt, und zwar auf Grundlage des Positionsverhältnisses zwischen dem zuvor so erfassten vorausfahrenden Fahrzeug und dem diesmal als dem Eigenfahrzeug am nächsten liegenden erfassten dreidimensionalen Objekt und der Fahrgeschwindigkeit, und im Falle, dass die so berechnete Wahrscheinlichkeit gleich einem voreingestellten Wert oder größer als ein voreingestellter Schwellenwert ist, kennzeichnet die Objekterfassungseinheit 11 das diesmal erfasste dreidimensionale Objekt als vorausfahrendes Fahrzeug, um dadurch das vorausfahrende Fahrzeug zu erfassen, und aktualisiert die Information über das vorausfahrende Fahrzeug mit der Information über das diesmal erfasste dreidimensionale Objekt, um die Information über das vorausfahrende Fahrzeug kontinuierlich im Speicher zu registrieren. Somit verfolgt die Objekterfassungseinheit 11 die Spur des vorausfahrenden Fahrzeugs genau und aktualisiert dabei gleichzeitig die Information darüber.
  • Die Objekterfassungseinheit 11 verfolgt die Spur des vorausfahrenden Fahrzeugs, speichert gleichzeitig deren Information auf die vorstehend beschriebene Weise ab, und gibt die so gespeicherte Information nach Bedarf aus.
  • Die Objekterfassungseinheit 11 ist auch so ausgelegt, dass sie einen Abstand zwischen grafischen Eintragungen berechnet, die an beiden Enden der Gruppe G4 der in 4 gezeigten Gruppen G1 bis G7 liegen, der dem vorausfahrenden Fahrzeug 02 entspricht, um ihn vorübergehend im Speicher als Breite W des vorausfahrenden Fahrzeugs 02 zu hinterlegen, das diesmal erfasst wurde. Zusätzlich ist eine solche Auslegung möglich, dass eine querverlaufende Breite der rechteckigen Rahmenlinie, die das diesmal erfasste vorausfahrende Fahrzeug 02 angibt, als die Breite W des vorausfahrenden Fahrzeugs 02 berechnet wird.
  • Bei den Modulen ab dem Überwachungsbereichseinstellmodul 12, wird ein Überwachungsbereich zum Überwachen eines entgegenkommendes Fahrzeugs an einer rechten Seite (einer linken Seite in den Vereinigten Staaten von Amerika u. dgl.) oder einer Seite, die einer Fahrspur für entgegenkommende Fahrzeuge des vorausfahrenden Fahrzeugs zugewandt ist, das durch die Objekterfassungseinheit 11 auf die vorstehend beschriebene Weise im Referenzbild T erfasst wurde, angesetzt, und wenn ein entgegenkommendes Fahrzeug innerhalb des Überwachungsbereichs erfasst wird, ist die Auslegung dergestalt, dass zusätzlich zur normalen Belichtungseinstellung, die im Bildaufnahmemodul 2 automatisch erfolgt, eine Belichtungseinstellung gewissermaßen zwangsläufig auf eine solche Weise durchgeführt wird, dass die Leuchtdichte jedes Pixels des Referenzbilds T und des Vergleichsbilds, das aus dem Bildaufnahmemodul 2 ausgegeben wird, erhöht oder gesenkt wird.
  • Da sich außerdem bei dieser zwangsläufigen Belichtungseinstellung der Erfassungsvorgang für dreidimensionale Objekte in der Objekterfassungseinheit 11 schwierig ausführen lässt, wenn die Leuchtdichte jedes Pixels drastisch gesenkt wird, wird in dieser Ausführungsform der Grad der zwangsläufigen Belichtungseinstellung in jedem Abtastzyklus Schritt für Schritt erhöht, so dass die Leuchtdichte jedes ausgegebenen Pixels in jedem Abtastzyklus graduell gesenkt ist.
  • Im Nachstehenden werden Abläufe beschrieben, die in den Modulen ab der Überwachungsbereichseinstelleinheit 12 unter Befolgung eines in 8 gezeigten Ablaufschemas auszuführen sind.
  • Die Überwachungsbereichseinstelleinheit 12 setzt einen Überwachungsbereich WRonc auf der Seite eines vorausfahrenden Fahrzeugs Vah auf Grundlage eines rechtsseitigen Randabschnitts eines auf dem Referenzbild T erfassten Objekts, d. h. des vorausfahrenden Fahrzeugs Vah an, das in dieser Ausführungsform, wie in 9 gezeigt, mit einer Rahmenlinie Fr umgeben ist. Zusätzlich wird das vorausfahrende Fahrzeug, bei dem es sich um das Objekt handelt, allgemein als vorausfahrendes Fahrzeug Vah, welches das vorausfahrende Fahrzeug 02 umfasst, bezeichnet.
  • Außerdem setzt die Überwachungsbereichseinstelleinheit 12 den Überwachungsbereich dann an, wenn die Frontscheinwerfer eines entgegenkommenden Fahrzeug wie bei einer Fahrt bei Nacht oder durch einen Tunnel beleuchtet sind. Eine Bestimmung, ob eine Situation besteht oder nicht, bei der die Frontscheinwerfer des entgegenkommenden Fahrzeugs beleuchtet sind, kann durch die Überwachungsbereichseinstelleinheit 12 oder durch ein anderes Modul getroffen werden. Zusätzlich erfolgt die Bestimmung auf Grundlage der Situationen, bei den die Blendenzeiteinstellung und die Verstärkungsfaktorumschaltung durchgeführt werden, während zum Beispiel der automatische Einstellzustand der CCD-Kamera überwacht wird.
  • Wenn bestimmt wird, dass das Eigenfahrzeug bei Nacht oder durch einen Tunnel fährt, oder zu diesem Zweck Information eingeholt wird, bestimmt die Überwachungsbereichseinstelleinheit 12 zuerst, ob ein Lichtquellen-Erfassungsmerker Fa 0 ist (Schritt S1).
  • Der Lichtquellen-Erfassungsmerker Fa ist dergestalt, dass er auf 1 gesetzt wird, wenn eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs erfasst wird, wohingegen er auf 0 gesetzt wird, wenn keine solche Lichtquelle erfasst wird. Falls eine Lichtquelle innerhalb des Überwachungsbereichs erfasst wird (Fa = 1), wird zusätzlich zur normalen zuvor erwähnten Belichtungseinstellung die zwangsläufige Belichtungseinstellung, die separat von der normalen ist, durch die Einstellungseinheit 14 des Computers 10 aktiviert, was später noch beschrieben wird, und es ergibt sich ein Zustand, bei dem der Grad der zwangsläufigen Belichtungseinstellung verstärkt oder deren Grad beim unmittelbar vorhergehenden Abtastzyklus beibehalten wird. Falls außerdem keine Lichtquelle innerhalb des Überwachungsbereichs erfasst wird (Fa = 0), wird der Grad der zwangsläufigen Belichtungseinstellung gesenkt oder zu 0. In einem Anfangszustand ist der Lichtquellen-Erfassungsmerker Fa auf 0 gesetzt.
  • Zusätzlich ist ein Merker Fb für einen zwangsläufigen Belichtungsvorgang dergestalt, dass er auf 1 gesetzt wird, wenn die zwangsläufige Belichtungseinstellung durch den Computer 10 durchgeführt wird, wohingegen der Merker in anderen Fällen auf 0 gesetzt wird. Wie in 10 gezeigt ist, ist nämlich in einem solchen Zustand, dass die Lichtquelle innerhalb des Überwachungsbereichs erfasst wird und der Grad der zwangsläufigen Belichtungseinstellung verstärkt wird oder gleich bleibt, da zumindest die zwangsläufige Belichtungseinstellung durchgeführt wird, der Merker Fb für einen zwangsläufigen Belichtungsvorgang immer auf 1, wann immer auch der Lichtquellen-Erfassungsmerker Fa auf 1 ist.
  • Wenn der Lichtquellen-Erfassungsmerker Fa auf 0 ist (Schritt S1: JA), wird keine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst, und das vorausfahrende Fahrzeug Vah wird von der Objekterfassungseinheit 11 bis zu seinem rechten Rand erfasst. Deshalb legt die Überwachungsbereichseinstelleinheit 12 einen Bereich eines vorausfahrenden Fahrzeugs genau fest, der die Position des vorausfahrenden Fahrzeugs Vah im Referenzbild als einen Bereich anzeigt, der durch die Rahmenlinie Fr umrissen ist, der das in 9 gezeigte vorausfahrende Fahrzeug Vah umgibt.
  • Dann setzt die Überwachungsbereichseinstelleinheit 12 einen Überwachungsbereich WRonc mit einem vorbestimmten Pixelbereich weiter nach rechts außen als eine rechte Randlinie Rlim der das vorausfahrende Fahrzeug Vah anzeigenden Rahmenlinie Fr zur Seite des Unendlichkeitspunkts auf dem Referenzbild so an, dass er mit der rechten Randlinie Rum in Berührung gebracht wird (Schritt S3).
  • Ist der Lichtquellen-Erfassungsmerker Fa hingegen auf 1 (Schritt S1: NEIN), wird eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst, und aufgrund des Einflusses des Scheinwerfers des entgegenkommenden Fahrzeugs trifft es nicht immer zu, dass ein Abstand vom Eigenfahrzeug zu einem rechten Randabschnitt des vorausfahrenden Fahrzeugs Vah richtig erfasst wird.
  • Aufgrund dessen liest die Überwachungsbereichseinstelleinheit 12 eine Fahrzeugbreite car_width des vorausfahrenden Fahrzeugs Vah, die im Speicher gespeichert ist, aus, wobei sie aktualisiert wird, wie später noch beschrieben wird, stellt eine der in 9 gezeigten Rahmenlinie Fr ähnliche Rahmenlinie her, die ihren rechten Rand (links und rechts sind in den Vereinigten Staaten von Amerika u. dgl. umgekehrt) an einer Stelle hat, die um einen Abstand, der gleich der Fahrzeugbreite car_width ist, von einem linken Rand des vorausfahrenden Fahrzeugs Vah weg liegt, das von der Objekterfassungseinheit 11 erfasst wurde, und legt den Bereich des vorausfahrenden Fahrzeugs, der die Position des vorausfahrenden Fahrzeugs im Referenzbild anzeigt, als den von der Rahmenlinie umrissenen Bereich genau fest.
  • Als Nächstes wird in der Bestimmungseinheit 13 bestimmt, ob eine Lichtquelle im Überwachungsbereich WRonc vorhanden ist oder nicht. In dieser Ausführungsform zählt die Bestimmungseinheit 13 zuerst die Anzahl von Pixeln mit einer Leuchtdichte, die gleich einem oder höher als ein Schwellenwert br_th1 ist (erster vorbestimmter Schwellenwert), der auf eine hohe Leuchtdichte von 250 voreingestellt Ist, wenn er zum Beispiel durch die Leuchtdichteskala mit 256 Pegeln von 0 bis 225 ausgedrückt wird (Schritt S5). Wenn dies stattfindet, ist ordnungsgemäß vorab eingestellt, ob alle Pixel innerhalb des Überwachungsbereichs WRonc zur Bestimmung der Leuchtdichte verwendet werden, oder die Pixel in Abständen von mehreren Pixeln geprüft werden.
  • Um auf eine sichergestellte Weise zu erfassen, dass die Pixel mit der hohen Leuchtdichte, die gleich dem oder höher als der Schwellenwert br_th1 ist, innerhalb des Überwachungsbereichs nicht dergestalt sind, dass sie aufgrund von Bildaufnahmefehlern sehr hell erfasst werden, sondern dergestalt, dass sie als Ergebnis der Lichtquelle wie etwa des Frontscheinwerfers des entgegenkommenden Fahrzeug, der erfasst wird, aufgenommen werden, können zum Beispiel von den Pixeln mit der Leuchtdichte, die gleich dem oder höher als der voreingestellte Schwellenwert br_th1 ist, wie in 11 gezeigt ist, die Anzahlen von Pixeln von Pixelbereichen R1, R2 gezählt werden, in welchen aneinander angrenzend liegende Pixel zu Gruppen zusammengefasst sind. Darüber hinaus kann die Auslegung so sein, dass nur die Anzahl von Pixeln eines Pixelbereichs, in dem aneinander angrenzende Pixel zu einer Gruppe zusammengefasst sind, gezählt werden, deren Form als sich aus der Erfassung der Lichtquelle ergebend angesehen wird.
  • Wenn anschließend der Merker Fb für einen zwangsläufigen Belichtungsvorgang 0 ist (Schritt S6: JA), und die Anzahl von gezählten Pixeln kleiner ist als ein voreingestellter Schwellenwert count_th (zweiter vorbestimmter Schwellenwert) (Schritt S7: NEIN), bestimmt die Bestimmungseinheit 13, dass keine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs im Überwachungsbereich WRonc vorhanden ist. Aufgrund dessen wird in diesem Fall die vorstehend beschriebene zwangsläufige Belichtungseinstellung nicht durchgeführt.
  • Da außerdem in diesem Fall das vorausfahrende Fahrzeug von der Objekterfassungseinheit 11 normal bis zu seinem rechten Rand erfasst wird, aktualisiert die Bestimmungseinheit 13 die Fahrzeugbreite car_width des vorausfahrenden Fahrzeugs Vah, bei der es sich um die Querbreite des Objekts handelt, und speichert sie im Speicher ab (Schritt S8).
  • Die Breite car_width des vorausfahrenden Fahrzeugs Vah ist dazu ausgelegt, berechnet zu werden, indem sie durch ein Zeitkonstantenfilter geglättet wird, was durch die nachstehende Gleichung (7) auf Grundlage der Breite W des vorausfahrenden Fahrzeugs Vah geschieht, die diesmal von der Objekterfassungseinheit erfasst wurde und vorübergehend im Speicher abgespeichert ist. car_width ← car_width × 0,9 + W × 0,1 (7)
  • Festzuhalten ist, dass der Pfeil in der obigen Gleichung (7) bedeutet, dass der Wert im Speicher um den Wert des rechten Elements aktualisiert wird, und bedeutet im Speziellen, dass die Berechnung am rechten Element vorgenommen wird, um den Wert im Speicher zu überschreiben, und der sich ergebende Wert gespeichert wird. Zusätzlich lassen sich beim Glätten andere Glättungsfilter wie etwa ein Kalman-Filter oder ein Filter mit gleitendem Mittelwert verwenden.
  • Zusätzlich bestimmt die Bestimmungseinheit 13, auch wenn der Merker fb für einen zwangsläufigen Einstellungsvorgang auf 0 ist (Schritt S6: JA), wenn die gezählte Pixelanzahl gleich dem oder höher als der Schwellenwert count_th ist (Schritt S7: JA), dass eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst wird. Da es in diesem Fall nicht unbedingt zutrifft, dass das vorausfahrende Fahrzeug Vah von der Objekterfassungseinheit 11 normal bis zu seinem rechten Rand erfasst wird, erfolgt keine Aktualisierung der Breite car_width des vorausfahrenden Fahrzeugs Vah.
  • Dann gibt die Bestimmungseinheit 13 an die Einstellungseinheit 14 ein Erhöhungssignal aus, das signalisiert, den Grad der zwangsläufigen Belichtungseinstellung zu erhöhen, um die vorstehend beschriebene zwangsläufige Belichtungseinstellung durchzuführen.
  • Die Einstellungseinheit 14 gibt ein Signal, das signalisiert, den Belichtungsbetrag des Bildaufnahmemoduls 2 und/oder die Leuchtdichte der vom Bildaufnahmemodul 2 ausgegebenen Pixel einzustellen, an das Bildaufnahmemodul 2 aus, und zwar im Ansprechen auf das Erhöhungssignal oder ein Senkungssignal von der Bestimmungseinheit 13, das später noch beschrieben wird.
  • Wenn das die Erhöhung des Grads der zwangsläufigen Belichtungseinstellung signalisierende Signal von der Bestimmungseinheit 13 ausgegeben wird, wird ein Signal von der Einstellungseinheit 14 an das Bildaufnahmemodul 2 ausgegeben, das signalisiert, den Grad der zwangsläufigen Belichtungseinstellung um einen vorbestimmten Einstellungsbetrag zu erhöhen, wie in 10 gezeigt ist, wodurch die Leuchtdichte der jeweiligen Pixel des Referenzbilds und des Vergleichsbilds, die aus dem Bildaufnahmemodul 2 ausgegeben werden, insgesamt erhöht wird. Zusätzlich wird im Falle, dass die Leuchtdichte der jeweiligen Pixel übermäßig gesenkt wird, da ein Zustand entsteht, bei dem nur die Schlusslichter des vorausfahrenden Fahrzeugs und der Frontscheinwerfer des entgegenkommenden Fahrzeugs im Referenzbild und im Vergleichsbild aufgenommen sind, wobei sonst fast nichts anderes darauf aufgenommen ist, ein vorbestimmter Grenzbetrag am addierten Einstellungsbetrag angesetzt, wie in 10 gezeigt ist.
  • Im Falle hingegen, dass ein Senkungssignal von der Bestimmungseinheit 13 ausgegeben wird, das signalisiert, den Grad der zwangsläufigen Belichtungseinstellung zu senken, wird ein Signal von der Einstellungseinheit 14 an das Bildaufnahmemodul 2 ausgegeben, das signalisiert, den Grad der zwangsläufigen Belichtungseinstellung um einen vorbestimmten Einstellungsbetrag zu senken, wodurch die Leuchtdichte der jeweiligen Pixel im Referenzbild und im Vergleichsbild, die aus dem Bildaufnahmemodul 2 ausgegeben werden, insgesamt erhöht wird.
  • Beim Empfang des von der Bestimmungseinheit 13 her übertragenen Erhöhungssignals, lässt die Einstellungseinheit 14 das Bildaufnahmemodul 2 den Grad der zwangsläufigen Belichtungseinstellung im Ansprechen auf den Empfang des Erhöhungssignals um den vorbestimmten Einstellungsbetrag erhöhen (Schritt S9), setzt den Lichtquellenerfassungs-Merker Fa auf 1, weil bestimmt wird, dass eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs im Überwachungsbereich WRonc erfasst wurde (Schritt S10), und setzt den Merker Fb für eine zwangsläufige Einstellung auf 1, weil die zwangsläufige Belichtungseinstellung durchgeführt wird (Schritt S11).
  • Hingegen bestimmt die Bestimmungseinheit 13 in einem solchen Zustand, bei dem bestimmt wird, dass eine Lichtquelle wie etwa ein Frontscheinwerfer im Überwachungsbereich WRonc erfasst wurde, die zwangsläufige Belichtungseinstellung angelaufen ist, und der Merker Fb für einen zwangsläufigen Belichtungsvorgang auf 0 gesetzt wurde, in der Bestimmung des Schritts S6, dass der Merker Fb für einen zwangsläufigen Belichtungsvorgang nicht auf 0 ist (Schritt S6: NEIN).
  • Dann wird beurteilt, ob der Grad der zwangsläufigen Belichtungseinstellung weiter erhöht wird, oder die zwangsläufige Belichtungseinstellung weiter auf dem momentanen Niveau gehalten wird, oder das momentane Niveau gesenkt wird.
  • Die Bestimmungseinheit 13 bestimmt zuerst, ob die Anzahl von Pixeln mit der hohen Leuchtdichte innerhalb des Überwachungsbereichs WRonc, die im Schritt S5 gezählt wurde, gleich dem oder höher als der Schwellenwert count_th ist (Schritt S12) oder nicht, und wenn bestimmt wird, dass die Pixelanzahl gleich dem oder höher als der Schwellenwert count_th ist (Schritt S12: JA), bestimmt die Bestimmungseinheit 13, dass eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst wird und lässt die Einstellungseinheit 14 den Grad der Belichtungseinstellung um den vorbestimmten Betrag erhöhen, wenn der Einstellungsbetrag den Grenzwert noch nicht erreicht hat (Schritt S13).
  • Auch wenn bestimmt wird, dass die Anzahl von Pixeln mit der hohen Leuchtdichte im Überwachungsbereich WRonc, die im Schritt S5 gezählt wurde, geringer ist als der Schwellenwert count_th (Schritt S12: NEIN), fährt die Bestimmungseinheit 13, wenn die so gezählte Anzahl nicht 0 beträgt (Schritt S14: NEIN), weiter fort, zu bestimmen, dass eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst wird, und behält den momentanen Grad der zwangsläufigen Belichtungseinstellung bei, ohne diesen zu erhöhen (Schritt S15).
  • Wenn bestimmt wird, dass die Anzahl von Pixeln mit der hohen Leuchtdichte im Überwachungsbereich WRonc, die im Schritt S5 gezählt wurde, 0 beträgt (Schritt S14: JA), bestimmt die Bestimmungseinheit 13, dass keine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs im Überwachungsbereich WRonc erfasst wird, und lässt die Einstellungseinheit 14 den Grad der zwangsläufigen Belichtungseinstellung um den vorbestimmten Einstellungsbetrag senken (Schritt S16).
  • Dann wird, da keine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs erfasst wird, der Lichtquellenerfassungs-Merker Fa auf 0 gesetzt (Schritt S17), und wenn der normale Pegel der Belichtungseinstellungsfunktion der CCD-Kamera noch nicht erreicht wurde, auch wenn der Grad der zwangsläufigen Belichtungseinstellung gesenkt ist (Schritt S18: NEIN), wird der Grad der zwangsläufigen Belichtungseinstellung gesenkt, wobei der Merker Fb für einen zwangsläufigen Belichtungsvorgang weiter auf 1 gehalten wird, und wenn im Ergebnis der normale Pegel der Belichtungseinstellungsfunktion der CCD-Kamera erreicht ist (Schritt S18: JA), wobei bestimmt wird, dass keine zwangsläufige Belichtungseinstellung erfolgt, wird der Merker Fb für einen zwangsläufigen Belichtungsvorgang auf 0 gesetzt (Schritt S19).
  • Als Nächstes wird die Funktion des Fahrzeugaußenüberwachungssystems 1 beschrieben.
  • Wie vorstehend beschrieben wurde, sind die beiden CCD-Kameras 2a, 2b, die das Bildaufnahmemodul 2 der Ausführungsform ausmachen, miteinander synchronisiert und als Funktion, mit der die CCD-Kamera normalerweise ausgestattet ist, wird eine Belichtungseinstellung automatisch durchgeführt, um eine optimale Belichtung zu erzielen, welche Belichtungseinstellung zumindest eine Blendenzeiteinstellung, eine Verstärkungsfaktorumschaltung und eine Auswahl aus einer LUT (Look Up Table), also Nachschlagtabelle, zur Leuchtdichtenumrechnung umfasst.
  • Wenn erfasst wird, dass das Eigenfahrzeug in solch einer Situation gefahren wird, dass seine Scheinwerfer eingeschaltet werden müssen, wie etwa wenn es bei Nacht oder durch einen Tunnel fährt, setzt die Überwachungsbereichseinstelleinheit 12 des Computers 10 den Überwachungsbereich WRonc auf der rechten Seite der Rahmenlinie Fr an, die das vorausfahrende Fahrzeug Vah anzeigt, das auf dem Referenzbild T erfasst wird, wie in 9 gezeigt ist, wodurch die zwangsläufige Belichtungseinstellung nach der Ausführungsform vorbereitet oder in Bereitschaft versetzt wird, um separat von der normalen Belichtungseinstellung am Bildaufnahmemodul 2 abzulaufen.
  • Auch wenn der Überwachungsbereich WRonc angesetzt und die zwangsläufige Belichtungseinstellung in Betriebsbereitschaft versetzt ist, wird die zwangsläufige Belichtungseinstellung, solange eine Lichtquelle wie etwa ein Frontscheinwerfer eines entgegenkommenden Fahrzeugs innerhalb des Überwachungsbereichs WRonc erfasst wird, nicht in Gang gesetzt, und das Bildaufnahmemodul 2 befolgt die normale Belichtungseinstellung, um deren Belichtungsbetrag und die Leuchtdichte der Pixel einzustellen, die aus dem Bildaufnahmemodul 2 ausgegeben werden.
  • Wenn jedoch, wie in 12 gezeigt ist, die Anzahl von Pixeln mit der Leuchtdichte, die gleich dem oder höher als der Schwellenwert br_th1 ist, die im Überwachungsbereich WRonc gezählt wurden, den Schwellenwert count_th erreicht oder überschreitet, wird sowohl der Lichtquellenerfassungsmerker Fa als auch der Merker Fb für einen zwangsläufigen Einstellungsvorgangs auf 1 gesetzt, wodurch die zwangsläufige Belichtungseinstellung aktiviert wird.
  • Bei der zwangsläufigen Belichtungseinstellung wird deren Pegel Schritt um Schritt und schnell erhöht, wie in 10 gezeigt ist. Aufgrund dessen erfolgt eine zwangsläufige Belichtungseinstellung am Licht Lhead eines Frontscheinwerfers eines entgegenkommenden Fahrzeugs, das sich auf dem Referenzbild so ausweitet, dass es als Einheit mit dem Licht Ltail der Schlussleuchte des vorausfahrenden Fahrzeugs Vah aufgenommen wird, wie in 12 gezeigt ist, bis die Anzahl von Pixeln des Lichts aus dem Frontscheinwerfer innerhalb des Überwachungsbereichs WRonc unter den Schwellenwert count_th gesenkt wird, und im Ergebnis, wie in 13 gezeigt ist, das Licht Ltail der Schlussleuchte des vorausfahrenden Fahrzeugs Vah und das Licht Lhead des Frontscheinwerfers des entgegenkommenden Fahrzeugs Vonc auf dem Referenzbild voneinander getrennt sind.
  • Auch wenn die zwangsläufige Belichtungseinstellung auf diese Weise durchgeführt wird, wird, solange die Lichtquelle noch innerhalb des Überwachungsbereichs WRonc vorhanden ist, und auch wenn die Anzahl von Pixeln mit der hohen Leuchtdichte innerhalb des Überwachungsbereichs WRonc geringer ist als der Schwellenwert count_th (Schritt S12 in 8: NEIN), solange die Pixelanzahl nicht zu 0 wird (Schritt S14: NEIN), der Grad der zwangsläufigen Belichtungseinstellung beibehalten.
  • Dann wird, wenn keine Lichtquelle innerhalb des Überwachungsbereichs WRonc vorhanden ist, und die Anzahl von Pixeln mit der hohen Leuchtdichte innerhalb des Überwachungsbereichs WRonc zu 0 wird (Schritt S14: JA), der Grad der zwangsläufigen Belichtungseinstellung um den vorbestimmten Betrag gesenkt (Schritt S16), wodurch der Lichtquellenerfassungs-Merker Fa auf 0 gesetzt wird (Schritt S17). Wenn dann der Belichtungseinstellungsgrad den Pegel der normalen Belichtungseinstellung erreicht (Schritt S18: JA), wird der Merker Fb für eine zwangsläufige Belichtungseinstellung auf 0 gesetzt (Schritt S19), wobei der Funktionsablauf von der Routine abweicht, wodurch der Belichtungsgrad der zwangsläufigen Belichtungseinstellung Schritt um Schritt gesenkt wird, wie in 10 gezeigt ist, bis der Belichtungseinstellungsgrad durch die normale Belichtungseinstellung erreicht ist und die zwangsläufige Belichtungseinstellung schließlich außer Kraft gesetzt wird, und die Belichtungseinstellung, die am Bildaufnahmemodul 2 durchgeführt wird, zur normalen Belichtungseinstellung zurückkehrt.
  • Wie bislang beschrieben wurde, kann bei der normalen Belichtungseinstellung des Bildaufnahmemoduls 2 wie etwa der CCD-Kamera, wenn die Lichtquelle wie etwa der Frontscheinwerfer des entgegenkommenden Fahrzeugs Vonc, der starkes Licht abgibt, direkt nahe dem Objekt aufgenommen ist, die Seite des Objekts, die näher an der Lichtquelle liegt, aufgrund des Einflusses des starken Lichts nicht genau aufgenommen werden, und wie zum Beispiel in 12 gezeigt ist, werden das Licht Ltail der Schlussleuchte des vorausfahrenden Fahrzeugs Vah und das Licht Lhead des Frontscheinwerfers des entgegenkommenden Fahrzeugs Vonc im aufgenommenen Bild als Einheit aufgenommen, was insofern zu einer Gefahr führt, als die Schlussleuchte des vorausfahrenden Fahrzeugs Vah nicht genau erfasst werden kann oder die rechte Seite oder die dem entgegenkommenden Fahrzeug Vonc zugewandte Seite des vorausfahrenden Fahrzeugs Vah nicht genau aufgenommen werden kann.
  • Auch wenn zusätzlich ein Stereoabgleich durchgeführt wird, indem das Referenzbild mit dem Vergleichsbild verglichen wird, in dem das entgegenkommende Fahrzeug Vonc nicht aufgenommen ist, kann kein genauer Vergleich durchgeführt werden, und dies lässt einen großen Erfassungsfehler beim Abstand vom Eigenfahrzeug zum vorausfahrenden Fahrzeug Vah entstehen.
  • Nach dem Fahrzeugaußenüberwachungssystem 1 ist der Überwachungsbereich WRonc für eine Lichtquelle an der geeigneten Stelle wie etwa dem rechtsseitigen Rand des vorausfahrenden Fahrzeugs vorgesehen, wo das entgegenkommende Fahrzeug aufgenommen wird, wodurch das Vorhandensein einer Lichtquelle überwacht wird. Aufgrund dessen kann, wenn eine Lichtquelle vorhanden ist, der Einfluss der so vorhandenen Lichtquelle gesenkt und genau ausgemerzt werden, indem der Belichtungsbetrag des Bildaufnahmemoduls 2 und die Leuchtdichte von Pixeln eingestellt wird, die aus dem Bildaufnahmemodul 2 ausgegeben werden.
  • Wenn außerdem das Vorhandensein einer Lichtquelle erfasst wird, indem Pixel mit der hohen Leuchtdichte innerhalb des Erfassungsbereichs WRonc gezählt werden, wird die Querbreite des Objekts zur Aktualisierung erfasst, während keine Lichtquelle im Überwachungsbereich WRonc vorhanden ist, und wenn bestimmt wird, dass eine Lichtquelle im Überwachungsbereich WRonc vorhanden ist, wird der Überwachungsbereich WRonc an die Stelle gesetzt, die um den Abstand, der gleich der Querbreite ist, vom Randabschnitt auf der zu der Seite, auf der die Lichtquelle vorhanden ist, entgegengesetzten Seite des Objekts weg liegt, wodurch der Überwachungsbereich WRonc an der geeigneten Stelle angesetzt wird, was es möglich macht, das Vorhandensein einer Lichtquelle auf eine sichergestellte Weise zu überwachen.
  • Wenn darüber hinaus der Belichtungsbetrag des Bildaufnahmemoduls 2 oder die Leuchtdichte von Pixeln, die aus dem Bildaufnahmemodul 2 ausgegeben werden, eingestellt wird, erfolgt die Einstellung Schritt um Schritt, und der Grad der zwangsläufigen Belichtungseinstellung wird zu einem Zeitpunkt nicht weiter erhöht, zu dem die Anzahl von Pixeln mit der hohen Leuchtdichte innerhalb des Überwachungsbereichs WRonc geringer wird als der Schwellenwert count_th, wodurch die Gefahr verhindert werden kann, dass irgendwelche andere Abschnitte als die Lichtquellen wie etwa die Schlussleuchte oder der Frontscheinwerfer im aufgenommenen Bild aufgrund einer drastischen Erhöhung des Belichtungseinstellungspegels nicht unterschieden werden können, wodurch es ermöglicht wird, die zwangsläufige Belichtungseinstellung angemessen durchzuführen.
  • Aufgrund dessen können die Erfassung der Schlusslichter des vorausfahrenden Fahrzeugs Vah und der Stereoabgleich durch Vergleich des Referenzbilds mit dem Vergleichsbild, die vorstehend beschrieben sind, genau durchgeführt werden.
  • Festzuhalten ist, dass, obwohl in dieser Ausführungsform, wie vorstehend beschrieben wurde, die Information über Disparitäten dp durch das Positionsinformationserfassungsmodul 9 erfasst wird, bei dem es sich um die Abstandserfassungseinheit handelt, und der Abstand Z zum Objekt auf Grundlage der durch die Objekterfassungseinheit 11 so erfassten Information berechnet wird, um das Objekt zu erfassen, wie in 15 gezeigt ist, ist im Falle, dass eine Lichtquelle, die starkes Licht abgibt, auf dem Referenzbild als auf der Seite des Objekts liegend aufgenommen ist, während die Lichtquelle auf dem Vergleichsbild nicht aufgenommen ist, die Zuverlässigkeit der Information über die Disparität dp auf der Lichtquellenseite und der darauf beruhende Abstand Z gesenkt.
  • Um damit fertig zu werden, ist es, während durch die Erfassungseinheit 13 bestimmt wird, dass eine Lichtquelle innerhalb des Überwachungsbereichs WRonc vorhanden ist, und der Lichtquellenerfassungs-Merken Fa auf 1 oder der Merker Fb für eine zwangsläufigen Einstellungsvorgang auf 1 gesetzt ist, beim Berechnen eines Abstands Z zum Objekt durch die Objekterfassungseinheit 11 eine derartige Auslegung möglich, dass ein Abstand Z zum Objekt dadurch berechnet wird, dass von den Informationsteilen über die Abstände Z der Objekte, die wie in 3 und 4 gezeigt, im wirklichen Raum aufgetragen sind, nur die Information über den Randabschnitt, der auf der Seite des Objekts liegt, die der Seite, auf der die Lichtquelle liegt, entgegengesetzt ist, zum Beispiel von den Informationsteilen über die Abstände Z zum vorausfahrenden Fahrzeug Vah, bei dem es sich um das Objekt handelt, nur die Informationsteile der linken Hälfte verwendet wird.
  • Indem diese Auslegung übernommen wird, kann der Abstand zum Objekt genau berechnet werden, ohne durch die Lichtquelle beeinträchtigt zu sein.
  • Während zusätzlich die Querbewegungsgeschwindigkeit des Objekts vom Eigenfahrzeug aus gesehen aufgrund einer Positionsveränderung im Abtastzyklus der Information über die Abstände Z zu den Objekten, die im wirklichen Raum aufgetragen sind, erfasst werden kann, ist, auch wenn dies stattfindet, wenn bestimmt wird, dass eine Lichtquelle innerhalb des Überwachungsbereichs WRonc vorhanden ist, eine solche Auslegung möglich, dass die Querbewegungsgeschwindigkeit berechnet wird, indem nur die Positionsinformation über den Randabschnitt auf der Seite des Objekts verwendet wird, die der Seite entgegengesetzt ist, auf der die Lichtquelle vorhanden ist.
  • Indem diese Auslegung übernommen wird, kann die Querbewegungsgeschwindigkeit des Objekts genau berechnet werden, ohne durch die Lichtquelle beeinträchtigt zu sein.
  • In dieser Ausführungsform wird eine Betriebsart dargestellt, bei der eine stereoskopische Bildaufnahme auf Grundlage zweier Kameras durchgeführt wird, die als Bildaufnahme zum Aufnehmen eines Bilds eines Umfelds vor einem Eigenfahrzeug fungieren, wobei die Bildaufnahme so ausgelegt sein kann, dass sie eine einzelne Kamera umfasst. Außerdem kann eine Erfassungseinrichtung für ein vorausfahrendes Fahrzeug in einer beliebigen Form vorliegen, vorausgesetzt, sie kann ein vorausfahrendes Fahrzeug aus einem Bild erfassen, das durch die Bildaufnahme aufgenommen wurde, und von daher ist die Auslegung der Erfassungseinrichtung für vorausfahrende Fahrzeuge nicht auf eine Auslegung beschränkt, die hier vorstehend in der Ausführungsform der Erfindung beschrieben wurde.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - JP 7-225892 A [0002]
    • - JP 07-081459 A [0004, 0005]
    • - JP 2005-148308 A [0004, 0005]
    • - JP 07-225892 A [0007]
    • - JP 5-114099 A [0042]
    • - JP 5-265547 A [0042]
    • - JP 6-266828 A [0042]
    • - JP 10-283461 A [0042]
    • - JP 10-283477 A [0042]
    • - JP 2006-72495 A [0042]
    • - JP 283461 A [0054]

Claims (6)

  1. Überwachungssystem, das Folgendes umfasst: eine Bildaufnahme, um ein Bild des Umfelds eines Eigenfahrzeugs aufzunehmen; eine Objekterfassungseinheit, um ein Objekt aus einem aufgenommenen Bild zu erfassen; eine Überwachungsbereichseinstelleinheit, um einen Überwachungsbereich auf einer Seite des Objekts auf Grundlage eines Randabschnitts des Objekts anzusetzen; eine Bestimmungseinheit, um ein Vorhandensein einer Lichtquelle innerhalb des Überwachungsbereichs zu bestimmen; und eine Einstellungseinheit, um eine Belichtung der Bildaufnahme und/oder eine Leuchtdichte eines aus der Bildaufnahme ausgegebenen Pixels einzustellen, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, wobei eine Querbreite des Objekts erfasst und aktualisiert wird, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle nicht vorhanden ist, und wobei, wenn die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, die Überwachungsbereichseinstelleinheit den Überwachungsbereich auf Grundlage eines Randabschnitts auf einer Seite des Objekts ansetzt, die einer Seite von diesem entgegengesetzt ist, auf der die Lichtquelle vorhanden ist, und die Querbreite des Objekts gespeichert wird.
  2. Überwachungssystem nach Anspruch 1, wobei die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, wenn eine vorbestimmte Anzahl oder darüber von Pixeln erfasst wird, deren Leuchtdichte einen vorbestimmten Schwellenwert im Überwachungsbereich überschreitet.
  3. Überwachungssystem nach Anspruch 1 oder 2, wobei die Bestimmungseinheit bestimmt, dass die Lichtquelle vorhanden ist, wenn Pixel erfasst werden, deren Leuchtdichte den ersten Schwellenwert im Überwachungsbereich überschreitet, die Anzahl von Pixeln in einem Pixelbereich berechnet wird, in dem aneinander angrenzende Pixel der so erfassten Pixel gehäuft vorkommen, und bestimmt wird, dass die berechnete Anzahl von Pixeln einen zweiten vorbestimmten Schwellenwert überschreitet.
  4. Überwachungssystem nach einem der Ansprüche 1 bis 3, wobei die Einstellungseinheit, wenn das Vorhandensein der Lichtquelle bestimmt wird, den Belichtungsbetrag der Bildaufnahme und/oder die Leuchtdichte des Pixels, das aus der Bildaufnahme ausgegeben wird, Schritt für Schritt einstellt, bis bestimmt wird, dass die Lichtquelle in darauffolgenden Abtastzyklen nicht vorhanden ist, oder bis ein Einstellungsbetrag einen vorgegebenen Grenzbetrag erreicht.
  5. Überwachungssystem nach einem der Ansprüche 1 bis 4, das darüber hinaus umfasst: einen Abstandsdetektor, um aus dem Bild einen Abstand in einem wirklichen Raum zu dem Objekt zu berechnen, das von der Objekterfassungseinheit erfasst wird, wobei, wenn das Vorhandensein der Lichtquelle bestimmt wird, der Abstandsdetektor den Abstand auf Grundlage von Positionsinformation des Objekts berechnet, die Positionsinformation des Objekts über die Seite ausschließt, auf der die Lichtquelle vorhanden ist.
  6. Überwachungssystem nach einem der Ansprüche 1 bis 5, wobei die Objekterfassungseinheit eine Querbewegungsgeschwindigkeit des Objekts auf Grundlage einer Positionsveränderung des Objekts im wirklichen Raum innerhalb eines Abtastzyklus erfasst, wobei, wenn das Vorhandensein der Lichtquelle bestimmt wird, die Objekterfassungseinheit die Querbewegungsgeschwindigkeit auf Grundlage der Positionsinformation des Objekts erfasst, welche die Positionsinformation des Objekts über die Seite des Objekts ausschließt, auf der die Lichtquelle vorhanden ist.
DE102008006375.4A 2007-01-31 2008-01-28 Überwachungssystem Active DE102008006375B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-020752 2007-01-31
JP2007020752A JP4914233B2 (ja) 2007-01-31 2007-01-31 車外監視装置

Publications (2)

Publication Number Publication Date
DE102008006375A1 true DE102008006375A1 (de) 2008-08-21
DE102008006375B4 DE102008006375B4 (de) 2019-02-07

Family

ID=39628313

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008006375.4A Active DE102008006375B4 (de) 2007-01-31 2008-01-28 Überwachungssystem

Country Status (3)

Country Link
US (1) US8055017B2 (de)
JP (1) JP4914233B2 (de)
DE (1) DE102008006375B4 (de)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
JP5254102B2 (ja) * 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
JP5809785B2 (ja) * 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
JP5760884B2 (ja) * 2011-09-09 2015-08-12 株式会社デンソー 車両の旋回予測装置
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
JP2013200603A (ja) * 2012-03-23 2013-10-03 Hitachi Automotive Systems Ltd 車載用画像処理装置及び方法
JP5962193B2 (ja) * 2012-05-09 2016-08-03 株式会社デンソー 車両光源検出装置および車両光源検出プログラム
JP5772714B2 (ja) * 2012-05-16 2015-09-02 株式会社デンソー 灯火検出装置及び車両制御システム
TWI476701B (zh) * 2012-12-11 2015-03-11 Ind Tech Res Inst 燈號觸發事件偵測方法與裝置
US9164511B1 (en) * 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
JP6161802B2 (ja) * 2013-05-21 2017-07-12 オートリブ ディベロップメント エービー 調整可能な作動範囲を有する衝突緩和システム
JP6417729B2 (ja) * 2014-06-09 2018-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
US9989630B2 (en) * 2015-05-13 2018-06-05 Infineon Technologies Ag Structured-light based multipath cancellation in ToF imaging
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
CN106878625B (zh) * 2017-04-19 2019-10-11 宇龙计算机通信科技(深圳)有限公司 双摄像头同步曝光方法及系统
CN107040726B (zh) * 2017-04-19 2020-04-07 宇龙计算机通信科技(深圳)有限公司 双摄像头同步曝光方法及系统
JP7202304B2 (ja) * 2017-09-01 2023-01-11 株式会社村上開明堂 衝突予測装置、衝突予測方法及びプログラム
CN110020575B (zh) * 2018-01-10 2022-10-21 富士通株式会社 车辆检测装置及方法、电子设备
WO2019159765A1 (ja) * 2018-02-15 2019-08-22 株式会社小糸製作所 車両検出装置および車両用灯具システム
JP7216526B2 (ja) * 2018-11-21 2023-02-01 株式会社Subaru 車外環境認識装置および車外環境認識方法
US10715738B1 (en) * 2019-04-30 2020-07-14 Axon Enterprise, Inc. Asymmetrical license plate reading (ALPR) camera system
US11030472B2 (en) * 2019-04-30 2021-06-08 Axon Enterprise, Inc. Asymmetrical license plate reading (ALPR) camera system
EP3948662A4 (de) 2019-04-30 2022-06-22 Axon Enterprise, Inc. Nummernschildlesesystem mit erweiterungen

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0283461A (ja) 1988-09-21 1990-03-23 Toyo Commun Equip Co Ltd 接地抵抗の影響を補償した絶縁抵抗測定方法
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0781459A (ja) 1993-09-20 1995-03-28 Mitsubishi Motors Corp 自動車の走行制御装置
JPH07225892A (ja) 1994-02-09 1995-08-22 Fuji Heavy Ind Ltd 車輌の走行制御装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0511499A (ja) 1991-01-10 1993-01-22 Ricoh Co Ltd 現像装置
JP3177643B2 (ja) 1992-10-20 2001-06-18 谷口 きよ子 ゴミ焼却機
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JPH06276524A (ja) * 1993-03-19 1994-09-30 Toyota Motor Corp 対向車両認識装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP4118452B2 (ja) * 1999-06-16 2008-07-16 本田技研工業株式会社 物体認識装置
JP2004048455A (ja) * 2002-07-12 2004-02-12 Niles Co Ltd 撮像システム
JP4223320B2 (ja) * 2003-04-17 2009-02-12 富士重工業株式会社 車両用運転支援装置
JP2005145187A (ja) * 2003-11-13 2005-06-09 Nissan Motor Co Ltd 車両用走行制御装置
DE102004047476B4 (de) 2004-09-30 2014-05-08 Robert Bosch Gmbh Vorrichtung und Verfahren zur Einstellung einer Kamera
JP4914234B2 (ja) * 2007-01-31 2012-04-11 富士重工業株式会社 先行車両検出装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0283461A (ja) 1988-09-21 1990-03-23 Toyo Commun Equip Co Ltd 接地抵抗の影響を補償した絶縁抵抗測定方法
JPH05114099A (ja) 1991-10-22 1993-05-07 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH06266828A (ja) 1993-03-12 1994-09-22 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH0781459A (ja) 1993-09-20 1995-03-28 Mitsubishi Motors Corp 自動車の走行制御装置
JPH07225892A (ja) 1994-02-09 1995-08-22 Fuji Heavy Ind Ltd 車輌の走行制御装置
JPH10283461A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JPH10283477A (ja) 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2005148308A (ja) 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
JP2006072495A (ja) 2004-08-31 2006-03-16 Fuji Heavy Ind Ltd 立体物監視装置

Also Published As

Publication number Publication date
JP2008186342A (ja) 2008-08-14
DE102008006375B4 (de) 2019-02-07
US8055017B2 (en) 2011-11-08
JP4914233B2 (ja) 2012-04-11
US20080181461A1 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
DE102008006375B4 (de) Überwachungssystem
DE102008006951B4 (de) Erfassungssystem für vorausfahrende Fahrzeuge
DE102009005860B4 (de) Umgebungs-Erkennungssystem
DE102014116140B4 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
DE102008025723B4 (de) Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
DE102007000420B4 (de) Fahrzeuginterne Einrichtung zum Erfassen von Fahrzeugen und Vorrichtung zum Steuern von Scheinwerfern durch Verwenden der Einrichtung
DE102011053002B4 (de) Fahrspurliniebeurteilungsvorrichtung
DE102009005861B4 (de) Fahrzeugumgebungs-Erkennungssystem
DE60009000T2 (de) System zur Einparkhilfe
DE102016117780B4 (de) Fahrzeugaussenumgebung-Erkennungsvorrichtung
DE4410064C2 (de) Verfahren und Vorrichtung zur Abstandserkennung
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
DE10296593B4 (de) Fahrunterstützungsvorrichtung
DE102009015142B4 (de) Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
EP3501897A1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
DE102009005184A1 (de) Fahrzeugabtastsystem
DE10246228A1 (de) Vorrichtung zum Überwachen eines an ein Fahrzeug angrenzenden Bereichs
DE102011004006A1 (de) Spurmarkierungserkennungssystem mit verbessertem Erkennungsverhalten
DE102016216883A1 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
DE102015104453A1 (de) Stereobildverarbeitungsvorrichtung für ein Fahrzeug
WO2016026568A1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102012221777A1 (de) Spurverfolgungssystem
DE102014018040A1 (de) Sichtsystem
DE112017005447T5 (de) Objekterfassungsvorrichtung
DE102013002111A1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R012 Request for examination validly filed

Effective date: 20141210

R081 Change of applicant/patentee

Owner name: SUBARU CORPORATION, JP

Free format text: FORMER OWNER: FUJI JUKOGYO KABUSHIKI KAISHA, TOKYO, JP

R082 Change of representative

Representative=s name: MEISSNER BOLTE PATENTANWAELTE RECHTSANWAELTE P, DE

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000