DE10019462B4

DE10019462B4 - Straßensensorsystem, Straßenerfassungssystem und Verfahren zur Bestimmung der Straßenfläche

Info

Publication number: DE10019462B4
Application number: DE10019462.1A
Authority: DE
Inventors: Horimitsu Yuhara; Tomoyoshi Aoki
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-04-19
Filing date: 2000-04-19
Publication date: 2016-03-03
Anticipated expiration: 2020-04-20
Also published as: JP3807583B2; US6658137B1; DE10019462A1; JP2000306097A

Abstract

Straßensensorsystem, das dafür ausgelegt ist, an einem Fahrzeug getragen zu werden, umfassend: einen Bildsensor (3, 3') zum Erfassen eines Bildes; und einen Prozessor, der die Funktion der Bestimmung wenigstens eines Helligkeitswertes von der Fläche unmittelbar vor dem Fahrzeug basierend auf dem durch den Bildsensor (3, 3') erfassten Bild durchführt; wobei der Prozessor den Helligkeitswert einer anderen Fläche mit dem wenigstens einen Helligkeitswert vergleicht und bestimmt, dass die andere Fläche zu einer Straßenfläche gehört, wenn der Unterschied innerhalb eines vorbestimmten Bereichs liegt, und das von dem Bildsensor (3, 3') erfasste Bild in eine Mehrzahl von Fenstern (W11, W12, ...) unterteilt wird und der Helligkeitswert auf der Basis der Fenster (W11, W12, ...) bestimmt wird, dadurch gekennzeichnet, dass der Referenzhelligkeitswert wiederholt erzeugt wird und der Helligkeitswert des Fensters (W11, W12, ...), das zuletzt als zur Straßenfläche gehörend bestimmt wurde, den Referenzhelligkeitswert ersetzt.

Description

Die Erfindung betrifft eine Vorrichtung, welche Straßenflächen unter Verwendung eines Abbildungsmittels erfasst, das eine an einem Fahrzeug wie z. B. einem Auto usw. befestigte Kamera verwendet. Insbesondere betrifft die vorliegende Erfindung ein Straßensensorsystem gemäß dem Oberbegriff des Anspruchs 1, ein Straßenerfassungssystem gemäß dem Oberbegriff des Anspruchs 6 und ein Verfahren zur Bestimmung der Straßenfläche gemäß dem Oberbegriff des Anspruchs 8.
In den letzten Jahren wurden Einrichtungen vorgeschlagen, welche den Abstand und die Größe von Objekten vor dem Fahrzeug beurteilen und das Fahrzeug gemäß dieser Beurteilung geeignet steuern/regeln, um die Sicherheit von fahrenden Fahrzeugen zu verbessern.
Eine Vorrichtung zur Erkennung eines Objekts auf der Straße, welche Objekte vor einem Fahrzeug korrekt erkennt, ist in der japanischen Patentanmeldung Kokai Nr. JP H07-225126 A als eine Einrichtung beschrieben, die mit einem Verfahren verbunden ist, das eine optische Abstandsmesseinrichtung verwendet, die aus zwei Lichtaufnahmeelementen besteht und beurteilt, ob abgebildete Dinge, deren Abstände erfasst sind, physische Objekte oder Straßenflächen (einschließlich Buchstaben oder weißen Linien, die auf die Straßenoberfläche gezeichnet sind) sind. Diese Einrichtung ist mit einer Stereokamera ausgerüstet, welche die Straßenoberfläche abbildet, auf welcher das Fahrzeug fährt. Das durch diese Kamera erhaltene Bild wird in eine Mehrzahl von Fenstern unterteilt und der Abstand zu dem abgebildeten Ding wird für jedes Fenster berechnet. Objekte vor dem Fahrzeug werden durch Vergleichen des Abstands zu diesem abgebildeten Ding erkannt und ein Referenzabstand wird für jede Bereichsreihe des Fensters bestimmt.
In der Einrichtung, die in der japanischen Patentanmeldung Kokai Nr. JP H07-225126 A beschrieben ist, werden durch die Kamera abgebildete Dinge als physische Objekte oder Straßenflächen beurteilt, unter einer Voraussetzung, dass sich die Straßenoberfläche vor dem Fahrzeug horizontal erstreckt. Folglich können physische Objekte auf der Straßenoberfläche irrtümlich beurteilt und als Straßenflächen identifiziert werden, falls das Fahrzeug infolge Schwanken oder Rollen geneigt ist oder falls die Fläche vor dem Fahrzeug ein Gefälle oder eine Böschung ist. Ebenso können Straßenflächen irrtümlich beurteilt und als physische Objekte identifiziert werden.
Aus der JP H09-106457 A ist ein Straßensensorsystem gemäß dem Oberbegriff des Anspruchs 1, ein Straßenerfassungssystem gemäß dem Oberbegriff des Anspruchs 6 und ein Verfahren zur Bestimmung der Straßenfläche gemäß dem Oberbegriff des Anspruchs 8 bekannt.
Aus der US 5,535,144 A ist ein Abstandserfassungssystem zur Erfassung eines Abstands zu einem Objekt von einem beweglichen Körper, wie z. B. einem Kraftfahrzeug bekannt, welches zwei Bildsensoren hat, die in einem vorbestimmten Abstand angeordnet sind, wobei das Abstandserfassungssystem den Abstand zu dem Objekt basierend auf von den Bildsensoren erfassten Bildern misst.
Die US 4,970,653 A offenbart ein Bildverarbeitungsverfahren, welches eine von einer CCD-Kamera aufgenommene Straßenszene vor einem Fahrzeug verarbeitet, um Markierungen einer Fahrspur zu erfassen und die Beziehung von dem Fahrzeug zu der Fahrspur zu bestimmen. Hindernisse in der Fahrspur nahe dem Fahrzeug werden ebenfalls erfasst und eine Warnung kann an den Fahrer ausgegeben werden.
Aus der DE 697 36 764 T2 ist ein lokales Positionierungsgerät bekannt, das in einem lokalen Positionierungssystem verwendet wird, welches dazu eingerichtet ist, den Zustand eines Objekts, wie einem Automobil oder einem anderen motorisierten Fahrzeug auf einer Straße zu erfassen, welches einen entweder ortsfesten oder sich bewegenden Zustand aufweist, basierend auf einer lokalen Positionierungsinformation wie dem relativen Standort, der Geschwindigkeit und der Lage des Objekts innerhalb eines begrenzten Bereichs, unter Bezugnahme auf ein Bild, das durch das Abbilden des Bereichs vor dem Objekt erzielt wird.
Aus der US 5,379,353 A ist eine Bildverarbeitungseinrichtung bekannt, in welcher Bilddaten von einer Straße oder Linien, welche eine Fahrspur markieren, welche durch eine Kamera aufgenommen werden, welche an einem Fahrzeug installiert ist, für die Erkennung von der Kontur der Straße oder der Fahrspur verarbeitet werden.
Es ist Aufgabe der Erfindung, ein System und ein Verfahren bereitzustellen, welche Straßenflächen mit größerer Präzision erfassen können, ohne physische Objekte und Straßenflächen zu verwechseln, sogar falls das Fahrzeug infolge Schwanken oder Rollen geneigt ist oder falls die Straßenoberfläche, auf welcher das Fahrzeug fährt, ein Hügel oder eine Böschung ist, sowie ein System und ein Verfahren bereitzustellen, welche physische Objekte auf der Straßenoberfläche (einschließlich anderer Fahrzeuge und Hindernisse) auf der Basis der erfassten Straßenflächen erfassen können.
Diese Aufgabe wird durch ein Straßensensorsystem gemäß Anspruch 1, ein Straßenerfassungssystem gemäß Anspruch 6 und ein Verfahren zur Bestimmung der Straßenoberfläche gemäß Anspruch 8 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind in den abhängigen Ansprüche angegeben.
Gemäß einem Aspekt der Erfindung ist ein Straßensensorsystem vorgesehen, welches umfasst: einen Bildsensor zum Erfassen eines Bildes; und einen Prozessor, der die Funktion der Bestimmung wenigstens eines Helligkeitswertes von der Fläche unmittelbar vor dem Fahrzeug basierend auf dem durch den Bildsensor erfassten Bild durchführt; wobei der Prozessor den Helligkeitswert einer anderen Fläche mit dem wenigstens einen Helligkeitswert vergleicht und bestimmt, dass die andere Fläche zu einer Straßenfläche gehört, wenn der Unterschied innerhalb eines vorbestimmten Bereichs liegt, und das von dem Bildsensor erfasste Bild in eine Mehrzahl von Fenstern unterteilt wird und der Helligkeitswert auf der Basis der Fenster bestimmt wird, und welches sich dadurch auszeichnet, dass der Referenzhelligkeitswert wiederholt erzeugt wird und dass der Helligkeitswert des Fensters, das zuletzt als zur Straßenfläche gehörend bestimmt wurde, den Referenzhelligkeitswert ersetzt.
Gemäß der Erfindung wird die Straßenoberfläche selbst basierend auf der Helligkeit anstelle des Abstands zur Straßenoberfläche erfasst. Straßenflächen können sogar bestimmt werden, ohne physische Objekte und Straßenflächen zu verwechseln, falls das Fahrzeug infolge Schwanken oder Rollen geneigt ist, oder falls die Fläche vor dem Fahrzeug ein Gefälle oder eine Böschung ist, da die Bestimmung nicht vom Abstand abhängt.
Gemäß der Erfindung setzt das System den Helligkeitswert des anderen Fensters, das zuletzt durch die Beurteilungseinrichtung als eine Straßenfläche bestimmt wurde, als einen neuen Referenzhelligkeitswert. Der neue Referenzhelligkeitswert wird zur Bestimmung des nächsten Fensters verwendet. Somit wird der Referenzwert progressiv, d. h. fortschreitend oder wiederholt geändert, um die Veränderung der Helligkeit der Straße gemäß Stellen in dem gesamten Bild zu reflektieren. Auf diese Weise können Straßenflächen mit größerer Präzision bestimmt werden.
Gemäß einem weiteren Aspekt der Erfindung besitzt das Straßensensorsystem wenigstens zwei Bildsensoren, die in einem vorbestimmten Abstand angeordnet sind, wobei der Prozessor den Abstand zu einem Objekt basierend auf den von den Bildsensoren erfassten Bildern misst. Das System misst den Abstand zu einem Objekt auf der Basis von zwei oder mehr durch die zwei oder mehr Bildsensoren erhaltenen Bilder. Die Bildflächen, welche Helligkeitswerte aufweisen, die sich von den Straßenflächen signifikant unterscheiden, werden als zu einem physischen Objekt gehörend, das von der Straße verschieden ist, wie z. B. ein Auto oder zu einer auf der Straße vorgesehenen Markierung gehörend, beurteilt.
Wenn eine Beurteilung vorgenommen wird, dass das Fenster zu einem physischen Objekt oder zu einer markierten Fläche auf der Straße gehört, wird eine weitere Analyse basierend auf dem gemessenen Abstand von solchen Fenstern und dem gemessenen Abstand von anderen Fenstern, die als zu einer Straßenfläche gehörend bestimmt wurden, durchgeführt. Wenn die Abstände übereinstimmen, werden die untersuchten Fenster als zu einer Markierung auf der Straße gehörend beurteilt. Somit werden Markierungen auf der Straße von anderen physischen Objekten wie z. B. Autos unterschieden.
Eine bevorzugte Ausführungsform der Erfindung wird unter Bezugnahme auf die beigefügten Figuren beschrieben. Es stellen dar:
1 ein Blockdiagramm, das den Gesamtaufbau einer Ausführungsform der Erfindung veranschaulicht;
2 ein Diagramm, welches das Prinzip der Abstandsmessung durch Triangulation veranschaulicht;
3 zeigt (a) das gewonnene Bild, (b) das in schmale Flächen (Fenster) unterteilte Bild, die für die Abstands- und/oder Straßenflächenbeurteilung verwendet werden und (c) das Ausgabebild gemäß der Erfindung; und
4 ein Flußdiagramm, welches das zur Beurteilung der Straßenflächen verwendete Verfahren veranschaulicht.
1 ist ein Gesamtblockdiagramm des Straßenflächenbeurteilungssystems einer Ausführungsform der Erfindung. Das System umfaßt ein Paar von Bildsensoren 3 und 3', ein Paar von Analog-Digital-Wandlern 4 und 4' und ein Paar von Bildspeichern 5 und 5'. Es umfaßt auch einen Prozessor (CPU), ein RAM (Direktzugriffsspeicher) und ein ROM (Festspeicher), welche gemeinsam die Funktionen des Helligkeitsextraktionsteils 31, des Helligkeitsspeichers 32, des Helligkeitsvergleichers 33, des Straßenflächenbeurteilungsteils 34, des Objektdetektors 35, des Korrelationsberechners 6, des Abstandsberechners 7, des Abstandsspeichers 8 und des Fensterausschneideteils 13 bereitstellen.
Insbesondere umfaßt das ROM, das in den Zeichnungen nicht gezeigt ist, Computerprogramme zur Durchführung der oben identifizierten Funktionen. Die CPU liest die Programme aus und verarbeitet sie unter Verwendung des RAMs als einen Arbeitsspeicherbereich. Die Bildspeicher 5, 5', der Helligkeitsspeicher 32 und der Abstandsspeicher 8 können jeweilige Bereiche des RAM sein.
2 ist ein Diagramm, das ein Abstandsmeßprinzip zeigt, das auf einer Triangulationsmethode basiert, die in der Erfindung verwendet wird. Als erstes wird eine Abstandsmeßmethode unter Verwendung eines Paars von Abbildungseinrichtungen unter Bezugnahme auf 2 beschrieben.
Ein Zeilensensor (line sensor) 21 und Linsen 23, die ein Abbildungssystem eines Paars von Abbildungssystemen bilden, sind in einem vorbestimmten Abstand, d. h. einem Abstand eingebaut, der der Basislinienlänge B in der Links-Rechts-Richtung oder vertikalen Richtung von dem Zeilensensor 22 und den Linsen 24 entspricht, welche die andere Abbildungseinrichtung bilden. Die Zeilensensoren 21 und 22 sind typischerweise eindimensionale CCDs, können aber auch linear angeordnete Photosensoranordnungen sein. Wenn die Verwendung in der Nacht in Betracht gezogen wird, sind Abbildungseinrichtungen ratsam, welche Infrarotlicht verwenden. In diesem Fall ist es ratsam, infrarottransparente Filter vor den Linsen 23 und 24 anzubringen und das System so zu gestalten, daß das Objekt 22 mit einer vorbestimmten Periode von einer Infrarotlichtquelle beleuchtet wird. Die Zeilensensoren 21 und 22 nehmen das von dem Objekt 20 reflektierte Infrarotlicht wahr.
Die Zeilensensoren 21 und 22 sind jeweils in den Brennweiten f der Linsen 23 und 24 angeordnet. Angenommen, daß ein Bild eines Objekts, das im Abstand ”a” von der Ebene der Linsen 23 und 24 angeordnet ist, in einer Position ausgebildet ist, die um einen Abstand X1 von der optischen Achse der Linse 23 im Fall des Zeilensensors 21 verschoben ist, und an einer Position ausgebildet ist, die um einen Abstand X2 von der optischen Achse der Linse 24 im Fall des Zeilensensors 22 verschoben ist. Dann wird gemäß dem Prinzip der Triangulation der Abstand ”a” zum Objekt 20 von der Ebene der Linsen 23 und 24 durch die Gleichung a = B·f/(X1 + X2) bestimmt.
In der Ausführungsform werden die Bilder digitalisiert. Folglich wird der Abstand (X1 + X2) digital berechnet. Die von den Zeilensensoren 21 und 22 erhaltenen Bilder werden relativ zueinander um einen vorbestimmten Zuwachswert wie z. B. jeweils ein Pixel verschoben und der Unterschied zwischen den digitalen Helligkeitswerten von jedem der entsprechenden Pixel der zwei Bilder wird jedesmal bestimmt, wenn die Bilder relativ verschoben werden. Die Summe der Absolutwerte von solchen Unterschieden wird als ein Korrelationswert für jede Verschiebung verwendet. Die Korrelationswerte werden miteinander verglichen, um die kleinste Korrelation zu identifizieren. Der Betrag der relativen Verschiebung der Bilder, der zur kleinsten Korrelation führt, bezeichnet die Positionsabweichung zwischen den zwei Bildern, d. h. (X1 + X2). Unter idealen Bedingungen ist der Abstand, um welchen die zwei Bilder bewegt werden müssen, damit sich die Bilder überlappen (d. h. der null-Korrelationswert), wie in 2 gezeigt, (X1 + X2).
Der Einfachheit halber wurden die Abbildungseinrichtungen als eindimensionale Zeilensensoren 21 und 22 beschrieben. Jedoch werden in einer Ausführungsform der Erfindung, wie unten beschrieben, zweidimensionale CCDs oder zweidimensionale Photosensoranordnungen als Abbildungseinrichtungen verwendet. In diesem Fall werden dieselben Korrelationsberechnungen wie die oben beschriebenen durchgeführt, indem die von den zwei Abbildungseinrichtungen erhaltenen zweidimensionalen Abbildungen relativ zueinander verschoben werden und wenn der Betrag der Verschiebung an dem Punkt bestimmt ist, wo der Korrelationswert ein Minimum erreicht, entspricht dieser Betrag der Verschiebung (X1 + X2).
Die in 1 gezeigte Abbildungseinrichtung 3 entspricht einem der Abbildungssensoren in 2, der aus der Linse 23 und dem Zeilensensor 21 besteht, und die Abbildungseinrichtung 3' entspricht dem anderen Abbildungssensor in 2, der aus der Linse 24 und dem Zeilensensor 22 besteht. In der in 3(b) gezeigten Ausführungsform, ist die abgebildete Fläche in eine Mehrzahl von Fenstern (kleine Flächen) W₁₁, W₁₂, ..., unterteilt und der Abstand wird für jedes Fenster gemessen. Folglich wird ein zweidimensionales Bild des Gesamtobjekts benötigt. Somit bestehen die Abbildungseinrichtungen 3 und 3' aus einer zweidimensionalen CCD-Anordnung oder einer zweidimensionalen Photosensoranordnung.
3(a) zeigt ein Beispiel des Bildes, das von den Abbildungssensoren 3 oder 3' von einem Fahrzeug aufgenommen wurde, das vor dem System der Erfindung fährt. 3(b) zeigt das Bild der 3(a), das schematisch in eine Mehrzahl von Fenstern unterteilt ist. 3(b) besitzt Reihen in der vertikalen Richtung und Spalten in der horizontalen Richtung. Der Einfachheit halber wird eine Anordnung gezeigt, in welcher das Bild in 10 Reihen mal 15 Spalten aus Fenstern unterteilt ist. Zahlen sind den jeweiligen Fenstern zugewiesen. Beispielsweise bezeichnet W₁₂ das Fenster in Reihe 1, Spalte 2.
Unter Bezugnahme auf 1 umfaßt das System gemäß einer Ausführungsform der Erfindung ein Paar von Bildsensoren 3 und 3', ein Paar von Analog-Digital-Wandlern 4 und 4' und ein Paar von Bildspeichen 5 und 5'. Die jeweils durch die Abbildungssensoren 3 und 3' aufgenommenen Bilder werden durch die Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in digitale Daten umgewandelt und in den Bildspeichern 5 und 5' gespeichert.
Eine Fensterausschneidesteuer/-regeleinrichtung (window cut-out controller) 13 holt basierend auf den Fenstern digitale Daten in die Speicher 5 und 5'. Beispielsweise wird ein Fenster W₁₁ von den Bildspeichern 5 ausgeschnitten und zu einem Korrelationsberechnungsteil 6 geschickt. In gleicher Weise wird entsprechend das Fenster W₁₁ von dem Bildspeicher 5' ausgeschnitten und zu dem Korrelationsberechnungsteil 6 geschickt, welches wiederum die zwei ausgeschnittenen Bilder jeweils um eine vorbestimmte Einheit verschiebt und die Korrelationsberechnung durchführt, welche oben diskutiert wurde. Der Vergleich der Korrelationswerte wird durchgeführt, um den minimalen Korrelationswert zu bestimmen. Wie oben diskutiert, ergibt die Verschiebung, welche den minimalen Korrelationswert erzeugt (X1 + X2). Der Korrelationsberechnungsteil 6 sendet den so bestimmten Wert von (X1 + X2) zu einem Abstandsberechnungsteil 7.
Der Abstandsberechnungsteil 7 bestimmt den Abstand a₁₁ zu dem Objektbild in dem Fenster W₁₁ unter Verwendung der Formel a = B·f/(X1 + X2). Der so bestimmte Abstand a₁₁ wird in einem Abstandsspeicherteil 8 gespeichert. Ein ähnliches Berechnungsverfahren wird nacheinander für die jeweiligen Fenster durchgeführt und die resultierenden Abstände a₁₁, a₁₂, ... werden in dem Abstandsspeicherteil 8 gespeichert.
Die Abstandsberechnung kann auch nur für die Fenster durchgeführt werden, welche für die Verwendung des Straßenflächenbeurteilungsteils 43 und des unten beschriebenen physische-Objekt-Erfassungsteils 35 benötigt werden. Der Abstand zu dem Objekt, der für ein bestimmtes Fenster berechnet wird, wird als gemessener Abstand des Fensters bezeichnet.
In den in der Korrelationsberechnung verwendeten Bilddaten wird die Auflösung durch die Teilung (pitch) der Elemente in der Abbildungselementanordnung bestimmt. Falls folglich lichtaufnehmende Elemente verwendet werden, die eine relativ große Teilung, wie z. B. eine Photosensoranordnung besitzen, ist es wünschenswert, daß die Dichte der Bilddaten durch Zwischen-Teilungs-Interpolation erhöht wird. Die Korrelationsberechnung kann für Bilddaten durchgeführt werden, deren Dichte so erhöht wurde. Wenn umgekehrt ein Bildsensor mit einer hohen Dichte wie z. B. ein CCD verwendet wird, kann eine vorbestimmte Zahl von Pixeln in einem Cluster gruppiert werden und der mittlere Helligkeitswert für die vorbestimmte Zahl an Pixeln kann als der Helligkeitswert des Clusters verwendet werden.
Darüber hinaus ist ein Temperatursensor in der Nähe der Abbildungselementanordnung eingebaut und die Abstandsberechnungen werden auf der Basis der von diesem Temperatursensor erhaltenen Temperaturinformation korrigiert, um Veränderungen in den Charakteristika der Abbildungselementanordnung gemäß der Temperatur zu korrigieren
Als nächstes wird die Bestimmung der Straßenfläche in den Bildern unter Bezugnahme auf die 1 und 3 beschrieben. In 3(b) ist, wie oben beschrieben, eine Unterteilung der Fenster in 10 Reihen mal 15 Spalten gezeigt. In Wirklichkeit kann jedoch die Bildfläche sehr fein unterteilt werden. Jedes der Fenster kann ein einziges Pixel umfassen, aber umfaßt bevorzugt eine Mehrzahl von Pixeln oder einen oder mehr Cluster. Die jeweiligen Fenster können dieselbe Größe wie die Fenster besitzen, welche wie oben beschrieben zur Abstandsmessung verwendet werden, oder eine unterschiedliche Größe besitzen.
Wenn das von dem Abbildungssensor 3' erhaltene Bild in digitale Daten umgewandelt und in dem Bildspeicher 5' gespeichert wird, schneidet das Fensterausschneideteil 13 in 1 eine Mehrzahl von Fenstern entsprechend der Fläche unmittelbar vor dem Fahrzeug aus, welche zu einem Helligkeitsextraktionsteil 31 übertragen werden. Der Teil 31 extrahiert Helligkeitswerte der Pixel oder Cluster in den ausgeschnittenen Fenstern. Die Helligkeit eines Fensters wird durch Mitteln der Helligkeitswerte der Pixel oder Cluster darin bestimmt. Somit ist der Helligkeitswert eines Fensters ein Durchschnittshelligkeitswert der Pixel oder Cluster, die zu dem Fenster gehören.
Helligkeitswerte der Fenster, welche der Fläche unmittelbar vor dem Fahrzeug entsprechen, werden zuerst verwendet, da es sehr wahrscheinlich ist, daß die Fläche direkt vor dem Fahrzeug zu der Oberfläche der Straße gehört. Eine Auswahl der Mehrzahl von Fenstern, die der Fläche unmittelbar vor dem Fahrzeug entsprechen, kann gemäß einem vorbestimmten Schema durchgeführt werden, das die Größe des Fahrzeugs, welches das System der Erfindung trägt, und die Position der Bildsensoren in dem Fahrzeug wie auch andere Faktoren in Betracht zieht.
Um den eigentlichen Helligkeitswert der Straße zu extrahieren, müssen Fenster, welche Markierungen auf der Straßenoberfläche entsprechen, ausgeschlossen werden. Falls beispielsweise die unterste Reihe verschiedene Fenster umfaßt, die Markierungen auf der Straßenoberfläche enthalten, existiert eine Fluktuation in den Helligkeitswerten der Fenster in dieser Reihe, da die Helligkeit der Markierungen auf der Straßenoberfläche sich wesentlich von der Helligkeit der Straße selbst unterscheidet. Um die unerwünschten Fenster zu eliminieren, werden die Helligkeitswerte der Fenster in dieser Reihe gemittelt und die Fenster, welche Helligkeitswerte besitzen, welche sich signifikant von dem Mittelwert unterscheiden, werden ausgeschlossen.
Alternativ ist es möglich, die Helligkeitswerte im Farbbereich von weiß oder gelb auszuschließen, da Markierungen auf der Straßenoberfläche hauptsächlich weiß oder gelb gefärbt sind und sich wesentlichen von der Farbe der Straße selbst unterscheiden. Ob ein von einem aktuell eingegebenen Bild extrahierter Helligkeitswert der eigentliche Helligkeitswert der Straße ist oder ob nicht, kann außerdem basierend auf einem Referenzhelligkeitswert entschieden werden, der aus vorangehend eingegebenen Bildern extrahiert wurde.
Nachdem die Helligkeitswerte der Fenster, die Markierungen auf der Straßenoberfläche entsprechen, ausgeschlossen wurden, bestimmt das Helligkeitsextraktionsteil 31 einen Referenzhelligkeitswert durch Mitteln der anderen Helligkeitswerte der Fenster in der untersten Reihe und speichert den Referenzhelligkeitswert in einem Helligkeitsspeicher 32. Eine Mehrzahl von Helligkeitswerten kann jeweils für einen spezifischen Abschnitt der Reihe bestimmt werden. Beispielsweise kann die Reihe in vier Teile unterteilt werden und der Referenzhelligkeitswert kann für jeden Teil bestimmt werden. Diese Helligkeitswerte werden digital durch 256 Gradationen (die von rein schwarz ”0” bis rein weiß ”255” reichen) ausgedrückt.
Als nächstes schneidet das Fensterausschneideteil 13 die Fenster in der zweiten Reihe aus dem Bildspeicher 5' und überträgt jedes Fenster einzeln zu dem Helligkeitsextraktionsteil 31. Das Teil 31 extrahiert den Helligkeitswert des Fensters und übermittelt ihn zu dem Helligkeitsvergleichsteil 33, das den extrahierten Helligkeitswert mit dem Referenzhelligkeitswert vergleicht, der in dem Helligkeitsspeicher 32 gespeichert ist.
Das Straßenflächenbeurteilungsteil 34 beurteilt Straßenflächen basierend auf den Vergleichsresultaten, die von dem Helligkeitsvergleichsteil 33 übermittelt wurden. Wenn der Unterschied der Helligkeitswerte in einem vorbestimmten Bereich liegt, wird das fragliche Fenster als eine Straßenfläche beurteilt. Wenn der Unterschied der Helligkeitswerte größer als ein vorbestimmter Wert ist, wird das fragliche Fenster als zu einem unterschiedlichen physischen Objekt oder zu einer Markierung auf der Straße gehörend bestimmt. Die Helligkeitswerte der Fenster, die als Straßenflächen beurteilt wurden, werden in dem Helligkeitsspeicherteil 32 als ein neuer Referenzwert gespeichert.
Die Anfangsreferenzwerte werden bestimmt, indem ein oder mehr Fenster in der untersten Reihe abgetastet werden. Unter Bezugnahme auf 3(b) werden die Fenster W_A7 und W_A9 (Fenster, die durch eine diagonale Schraffur angedeutet sind), welche der Fläche unmittelbar vor dem Fahrzeug entsprechen, durch das Fensterausschneideteil 13 ausgeschnitten. Das Helligkeitsextraktionsteil 31 extrahiert die Helligkeitswerte L1 und L2 der jeweiligen Fenster und speichert diese Werte als Referenzhelligkeitswerte in dem Helligkeitsspeicherteil 32. Als nächstes wird das Fenster W_A6 neben dem Fenster W_A7 ausgeschnitten und das Helligkeitsextraktionsteil 31 extrahiert den Helligkeitswert dieses Fensters W_A6. Das Helligkeitsvergleichsteil 33 vergleicht den extrahierten Helligkeitswert mit dem Referenzhelligkeitswert L1. Wenn die Differenz innerhalb eines vorbestimmten Bereichs (z. B. einem Bereich von ±3) liegt, beurteilt das Straßenflächenbeurteilungsteil 43 das Fenster W_A6 als zur Straßenfläche gehörend und speichert den Helligkeitswert des Fensters W_A6 in dem Helligkeitsspeicherteil 32 als einen neuen Referenzhelligkeitswert L3.
Als nächstes wird das Fenster W_A5 neben dem Fenster W_A6 ausgeschnitten und der Helligkeitswert des Fensters W_A5 wird durch das Helligkeitsextraktionsteil 31 extrahiert. Das Helligkeitsvergleichsteil 33 vergleicht den extrahierten Helligkeitswert mit dem Referenzhelligkeitswert L3. Wenn die Differenz innerhalb des vorbestimmten Bereichs liegt, beurteilt das Straßenflächenbeurteilungsteil 34 das Fenster W_A5 als zur Straßenfläche gehörend und speichert den Helligkeitswert des Fensters W_A5 in dem Helligkeitsspeicherteil 32 als einen neuen Referenzhelligkeitswert L4. Dieses Verfahren wird bezüglich der anderen Fenster in derselben Reihe und bezüglich der Fenster in den nachfolgenden Reihen wiederholt, um den gesamten Bildbereich abzudecken. Somit werden Referenzwerte progressiv erzeugt.
Das Fensterausschneideteil 13 schneidet Fenster in der Nähe der Fenster aus, die einen Referenzhelligkeitswert besitzen. Wenn das Fenster W_A6 den Referenzwert besitzt, ist es wünschenswert, ein Fenster, das zur selben Reihe gehört, oder ein Fenster in der nächsten Reihe auszuschneiden und zu verarbeiten. Der Grund dafür ist, daß entfernte Fenster wesentlich unterschiedliche Helligkeitswerte besitzen können. Durch progressive Erzeugung von Referenzwerten, wie oben beschrieben, können Straßenflächen genau bestimmt werden, sogar wenn die Helligkeit der Straße gemäß dem Abstand von dem Fahrzeug variiert.
Gemäß einer weiteren Ausführungsform der Erfindung wird eine Straßenfläche unter Verwendung der Helligkeitswerte, welche anfänglich aus Fenstern extrahiert wurden, welche der Fläche unmittelbar vor dem Fahrzeug (L1 und L2 in dem oben erwähnten Beispiel) entsprechen, aus festen Referenzhelligkeitswerten bestimmt. Die Helligkeitswerte der jeweiligen Fenster werden mit diesen Referenzwerten verglichen.
In der oben diskutierten Ausführungsform werden die Helligkeitswerte auf der Basis eines einzigen von dem Abbildungssensor 3' erhaltenen Bildes extrahiert. Gemäß einer weiteren Ausführungsform werden die Helligkeitswerte unter Verwendung von zwei oder mehr Bildern extrahiert, die von den zwei oder mehr Abbildungssensoren erhalten werden, welche für die Abstandsmessung benötigt werden. Beispielsweise kann der Referenzhelligkeitswert L2 aus dem von dem Abbildungssensor 3 erhaltenen Bild bestimmt werden und der Referenzhelligkeitswert L1 kann aus dem von dem Abbildungssensor 3' erhaltenen Bild bestimmt werden.
Es ist bevorzugt, daß das Verfahren zur Beurteilung der Straßenflächen durch Vergleich der Helligkeitswerte durch eine Art von Parallelverarbeitung durchgeführt wird. Beispielsweise können die Helligkeitswerte der Fenster W_A1~W_A6 und W₉₁~W₉₇ mit dem Referenzhelligkeitswert L1 gleichzeitig verglichen werden und dann können die Helligkeitswerte der Fenster W₈₁~W₈₇ gleichzeitig mit dem Helligkeitswert des Fensters W₉₃ verglichen werden, der der neue Referenzhelligkeitswert wurde. Auf diese Weise können die Fenster in einer Reihe gleichzeitig verarbeitet werden. Darüber hinaus können zur Erreichung einer Hochgeschwindigkeitsverarbeitung die Fenster in der linken Hälfte des Bildes unter Verwendung des Referenzhelligkeitswerts L1 verarbeitet werden und die Fenster in der rechten Hälfte des Bildes können unter Verwendung eines Referenzhelligkeitswertes L2 verarbeitet werden. Das Verfahren kann gleichzeitig für die rechte Hälfte und die zweite Hälfte durchgeführt werden.
Gemäß einem weiteren Aspekt der Erfindung können die Fenster, die von Fenstern umgeben sind, welche als zur Straße gehörend beurteilt wurden, automatisch als zur Straße gehörend beurteilt werden. Auf diese Weise werden die Fenster, welche eine Markierung umfassen, als zur Straße gehörend bestimmt, wenn sie von den Fenstern umgeben sind, die als zur Straße gehörend beurteilt wurden. Die Größe der Flächen, die als Straßenflächen beurteilt wurden, da sie von den Straßenflächen umgeben sind, wird gemäß der Große der physischen Objekte, die zu erfassen sind, bestimmt.
Da die Straßenoberfläche auf der Basis der Helligkeitswerte erfaßt wird, kann somit die Straßenfläche bestimmt werden, sogar wenn das Fahrzeug infolge Schwanken oder Rollen geneigt ist und sogar wenn es auf einem Gefälle oder einer Böschung fährt. Es kann bestimmt werden, daß keine Fahrzeuge oder Hindernisse auf der so bestimmten Straßenfläche vorhanden sind.
Markierungen auf der Straßenoberfläche können unter Verwendung der gemessenen Abstände der Fenster genau bestimmt werden. Das Straßenflächenbeurteilungsteil 34 erhält von dem Abstandsspeicherteil 8 die gemessenen Abstände der Fenster, die als nicht zu der Straßenfläche gehörend bestimmt wurden, basierend auf dem Helligkeitsvergleich und bestimmt ob solche Abstände die Abstände zur Straße sind oder ob nicht. Wenn die Abstände die Abstände zur Straße sind, dann wird beurteilt, daß die fraglichen Fenster Markierungen auf der Straßenoberfläche umfassen.
Die Abstände der Fenster zur Straße können aus den gemessenen Abständen anderer Fenster abgeleitet werden, die als zur Straßenfläche gehörend beurteilt wurden. Beispielsweise kann abgeleitet werden, daß der Abstand zur Straße derselbe für alle Fenster ist, die in derselben Reihe enthalten sind, zu welcher die anderen Fenster gehören. Ferner kann der Abstand zur Straße für jede Fensterreihe aus den gemessenen Abständen der Fenster abgeleitet werden, die als zur Straßenfläche gehörend beurteilt wurden. Folglich kann das Straßenflächenbeurteilungsteil 34 durch Vergleichen des berechneten Abstands mit einem abgeleiteten Abstand zur Straße beurteilen, ob ein Fenster zu einer Markierung auf der Straßenoberfläche gehört oder ob nicht.
Beispielsweise umfaßt ein Fenster W₉₅ einen Teil eines Buchstabens auf der Straßenoberfläche, wie in 3(b) gezeigt ist. Das Straßenflächenbeurteilungsteil 34 empfängt das Vergleichsresultat für das Fenster W₉₅, das nicht innerhalb des vorbestimmten Bereichs liegt. Das Straßenflächenbeurteilungsteil 34 holt sich den gemessenen Abstand für das Fenster W₉₅ aus dem Abstandsspeicherteil 8. Es holt sich auch den gemessenen Abstand für das weitere Fenster W₉₃, das zur selben Reihe wie das Fenster W₉₅ gehört und als zur Straßenfläche gehörend bestimmt wurde. Wenn ein Vergleich der zwei Abstände anzeigt, daß die Abstände im wesentlichen dieselben sind, wird beurteilt, daß das Fenster W₉₅ eine Markierung auf der Straßenoberfläche umfaßt. Durch Wiederholung dieses Beurteilungsprozesses ist es möglich, die Markierung ”60” auf der Straßenoberfläche wie in 3(b) gezeigt, zu erkennen.
Somit können Markierungen auf der Straßenoberfläche unter Verwendung der gemessenen Abstände erkannt werden. Die Markierungsinformation kann für eine automatische Fahrsteuerung/-regelung wie z. B. eine Geschwindigkeitssteuerung/-regelung oder zum Fahrbahnwechsel verwendet werden.
Die Beurteilung der oben beschriebenen Straßenfläche kann für alle Flächen der von dem Abbildungssensor eingegebenen Bilder durchgeführt werden, oder nur für einige der Flächen. Beispielsweise kann der Beurteilungsprozeß nur für die Bildflächen durchgeführt werden, welche zuletzt als Bilder (relativ zu vorangehend eingegebenen Bildern) eingegeben wurden, während das Fahrzeug fährt. Darüber hinaus kann die Straßenfläche auch unter Verwendung eines voreingestellten Straßenmodells eines Straßennavigationssystems bestimmt werden. Die Beurteilung der Straßenfläche kann mit einer höheren Geschwindigkeit durchgeführt werden, indem die Zahl der Fenster, für welche eine Beurteilung durchgeführt wird, begrenzt wird.
Wenn die Straßenfläche bestimmt ist, können die Fenster in einem Bild in jene klassifiziert werden, welche zu der Straßenfläche gehören und jene, die nicht zu der Straßenfläche gehören. Wenn notwendig, kann das Straßenflächenbeurteilungsteil 34 eine Straßenfläche (die aus den Fenstern aufgebaut ist, die als Straßenflächen beurteilt wurden) in der Form eines Bildes ausgeben. 3(c) zeigt ein Beispiel dieses Bildes. Die erfaßte Straßenfläche ist durch eine Schraffur angedeutet.
Das physische-Objekt-Erfassungsteil 35 erfaßt physische Objekte auf der Straßenoberfläche basierend auf der durch das Straßenflächenbeurteilungsteil 34 beurteilten Straßenfläche. Da die Straßenfläche bestimmt ist, können physische Objekte durch die Extraktion der Fenster, die vor der Straßenfläche angeordnet sind und als nicht zur Straßenfläche gehörend bestimmt sind, erfaßt werden.
Wenn die Straßenfläche, wie in 3(c) gezeigt, bestimmt ist, können beispielsweise die Fenster W₅₇, W₅₈ und W₅₉, die vor der Straßenfläche liegen und als nicht zur Straßenfläche gehörend bestimmt wurden, extrahiert werden. Wie in 3(b) gezeigt ist, umfassen diese Fenster ein anderes Fahrzeug, das vor dem Fahrzeug fährt, an dem das System der Erfindung angebracht ist. Das physische-Objekt-Erfassungsteil 35 gewinnt die Abstände dieser Fenster von dem Abstandsmessungsteil 8. Der Abstand von dem Fahrzeug an dem das System der Erfindung angebracht ist zu dem anderen Fahrzeug kann aus den gewonnenen Abständen bestimmt werden. Außerdem kann aus den Positionen der Fenster W₅₇, W₅₈ und W₅₉ relativ zu den Positionen der Fenster W₆₆ bis W_6A bestimmt werden, daß sich das andere Fahrzeug in der Mitte der Straßenfläche befindet.
Da das physische-Objekt-Erfassungsteil 35 den Abstand von dem vorvorhandenen Fahrzeug zu anderen weiter vorne befindlichen Fahrzeugen erfassen kann, kann der Fahrer über den Abstand gewarnt werden. Außerdem kann ein Alarm aktiviert werden, um den Fahrer zu warnen, falls ein Hindernis auf der Straße voraus lokalisiert wird, das den Fahrzeugbetrieb stört.
4 ist ein Flußdiagramm der Routine, die zur Beurteilung der Straßenflächen verwendet wird. Diese Routine kann unter Verwendung eines Software-Programms ausgeführt werden. Diese Routine wird für eingegebene Bilder in vorbestimmten Intervallen wiederholt durchgeführt. Der Einfachheit halber wird angenommen, daß jedes Fenster aus einem einzigen Pixel besteht. Unter Verwendung eines Pixels mit dem Referenzhelligkeitswert als ein Startpunkt werden die Helligkeitswerte von benachbarten Pixeln mit diesem Referenzhelligkeitswert verglichen. Wenn ein Pixel zur Straßenfläche gehörend beurteilt wird, wird der Helligkeitswert dieses Pixels als ein neuer Referenzhelligkeitswert genommen.
Als erstes wird ein Referenzhelligkeitswert und die Straßenfläche initialisiert (Schritt 40) und das in dem Bildspeicher 5' gespeicherte Bild wird gelesen (Schritt 41). Das Verfahren geht dann zum Schritt 42 weiter und ein Referenzhelligkeitswert wird aus dem eingegebenen Bild auf der Basis des Helligkeitswerts einer Mehrzahl von Pixeln entsprechend der Fläche unmittelbar vor dem Fahrzeugextrahiert. Dieser Referenzhelligkeitswert wird in dem Helligkeitsspeicherteil 32 gespeichert.
Im Schritt 43 wird das Pixel mit dem Referenzhelligkeitswert als die Anfangssuchposition spezifiziert. Die Suchposition bezeichnet ein Pixel, für das eine Straßenflächenbeurteilung durchgeführt wurde. Im Schritt 44 wird beurteilt, ob eine Straßenflächenbeurteilung für alle Pixel durchgeführt wurde oder ob nicht. Wenn Pixel, für welche keine Beurteilung durchgeführt wurden, existieren, geht das Verfahren zum Schritt 45 weiter, um solche Pixel zu verarbeiten.
Im Schritt 45 wird der Helligkeitswert eines Pixels neben der Suchposition mit dem Referenzhelligkeitswert verglichen. Wenn die Differenz innerhalb eines vorbestimmten Bereich liegt, geht das Verfahren zum Schritt 47 weiter. Ansonsten geht das Verfahren zum Schritt 46 weiter und es wird beurteilt, ob der gemessene Abstand des Pixels neben der Suchposition der Abstand zur Straße ist oder nicht. Wenn beispielsweise das Pixel der Suchposition als zur Straßenfläche gehörend beurteilt wird, wird ein Vergleich mit dem gemessenen Abstand dieses Pixels vorgenommen. Wenn die Abstände im wesentlichen dieselben sind, kann der gemessene Abstand des Pixels neben der Suchposition als Abstand zur Straße beurteilt werden. Wenn dies geschieht, geht das Verfahren zum Schritt 48 weiter. Wenn der gemessene Abstand des Pixels benachbart der Suchposition nicht als Abstand zur Straße beurteilt wird, geht das Verfahren zum Schritt 49 weiter und das Pixel neben der Suchposition wird als nächste Suchposition spezifiziert.
Im Schritt 47 wird der Helligkeitswert des Pixels, das im Schritt 45 als zur Straßenfläche gehörend beurteilt wurde, als ein neuer Referenzhelligkeitswert spezifiziert. Dies erfolgt, da das Pixel, das im Schritt 45 als zur Straßenfläche gehörend beurteilt wurde, keine Buchstaben/weiße Linien auf der Straßenoberfläche umfaßt. Im Schritt 48 wird das Pixel neben der Suchposition als zur Straßenfläche gehörend beurteilt. Das Verfahren geht dann zum Schritt 49 weiter und das Pixel neben der Suchposition wird als nächste Suchposition spezifiziert. Im Schritt 44 geht das Verfahren zum Schritt 50 weiter und die in dem Bild erfaßte Straßenfläche wird ausgegeben, wenn die Beurteilung für alle Pixel beendet ist.
Somit wurde gezeigt, daß gemäß der Erfindung die Straßenoberfläche selbst basierend auf der Helligkeit anstelle lediglich des Abstands zur Straßenoberfläche bestimmt wird. Folglich kann die Straßenfläche mit höherer Präzision bestimmt werden, sogar wenn das Fahrzeug infolge Schwanken oder Rollen geneigt ist oder wenn die Straße ein Gefälle oder eine Böschung ist. Die Referenzhelligkeitswerte werden progressiv erzeugt, während die Bestimmung der Fenster fortschreitet, so daß die Straßenfläche mit verbesserter Präzision bestimmt werden kann. Andere Fahrzeuge und Hindernisse auf der Straße können basierend auf der erfaßten Straßenfläche erfaßt werden. Markierungen auf der Straße können genau extrahiert und erkannt werden.
Ein Straßensensorsystem ist vorgesehen, welches umfaßt: wenigstens einen Abbildungssensor 3, 3', ein Extraktionsmittel 31, das Helligkeitswerte für eine Mehrzahl von der Fläche unmittelbar vor dem Fahrzeug entsprechenden Fenstern von einem Bild erfaßt, das von dem Abbildungssensor 3, 3' erfaßt und in eine Mehrzahl von Fenstern unterteilt ist. Es extrahiert einen Referenzhelligkeitswert basierend auf der Mehrzahl von Helligkeitswerten. Das System umfaßt ein Beurteilungsmittel 34, das den Helligkeitswert von wenigstens einem anderen Fenster mit dem Referenzhelligkeitswert vergleicht und beurteilt, daß das Fenster zu der Straßenfläche gehört, wenn der Unterschied kleiner als ein vorbestimmter Wert ist. Die Straßenfläche wird durch Erfassen der Straßenoberfläche basierend auf der Helligkeit anstelle des Abstands zur Straßenoberfläche erfaßt.

Claims

Straßensensorsystem, das dafür ausgelegt ist, an einem Fahrzeug getragen zu werden, umfassend: einen Bildsensor (3, 3') zum Erfassen eines Bildes; und einen Prozessor, der die Funktion der Bestimmung wenigstens eines Helligkeitswertes von der Fläche unmittelbar vor dem Fahrzeug basierend auf dem durch den Bildsensor (3, 3') erfassten Bild durchführt; wobei der Prozessor den Helligkeitswert einer anderen Fläche mit dem wenigstens einen Helligkeitswert vergleicht und bestimmt, dass die andere Fläche zu einer Straßenfläche gehört, wenn der Unterschied innerhalb eines vorbestimmten Bereichs liegt, und das von dem Bildsensor (3, 3') erfasste Bild in eine Mehrzahl von Fenstern (W₁₁, W₁₂, ...) unterteilt wird und der Helligkeitswert auf der Basis der Fenster (W₁₁, W₁₂, ...) bestimmt wird, dadurch gekennzeichnet, dass der Referenzhelligkeitswert wiederholt erzeugt wird und der Helligkeitswert des Fensters (W₁₁, W₁₂, ...), das zuletzt als zur Straßenfläche gehörend bestimmt wurde, den Referenzhelligkeitswert ersetzt.
Straßensensorsystem nach Anspruch 1, gekennzeichnet durch: wenigstens zwei Bildsensoren (3, 3'), die in einem vorbestimmten Abstand angeordnet sind, wobei der Prozessor den Abstand zu einem Objekt basierend auf den von den Bildsensoren (3, 3') erfassten Bildern misst.
Straßensensorsystem nach Anspruch 2, dadurch gekennzeichnet, dass der Prozessor bestimmt, dass ein untersuchtes Fenster (W₁₁, W₁₂, ...) zur Straßenfläche gehört, wenn der für das Fenster (W₁₁, W₁₂, ...) gemessene Abstand innerhalb eines vorbestimmten Bereichs der anderen Fenster (W₁₁, W₁₂, ...) liegt, die als zur Straßenfläche gehörend bestimmt wurden, sogar wenn der Helligkeitsvergleich anzeigt, dass das untersuchte Fenster (W₁₁, W₁₂, ...) nicht zur Straßenfläche gehört.
Straßensensorsystem nach Anspruch 3, dadurch gekennzeichnet, dass der Prozessor bestimmt, dass das untersuchte Fenster (W₁₁, W₁₂, ...) zu einer Markierung auf der Straße gehört, wenn der für das Fenster (W₁₁, W₁₂, ...) gemessene Abstand innerhalb eines vorbestimmten Bereichs der anderen Fenster (W₁₁, W₁₂, ...) liegt, die als zur Straßenfläche gehörend bestimmt wurden, sogar wenn der Helligkeitsvergleich anzeigt, dass das untersuchte Fenster (W₁₁, W₁₂, ...) nicht zur Straßenfläche gehört.
Straßensensorsystem nach Anspruch 1, dadurch gekennzeichnet, dass jedes Fenster (W₁₁, W₁₂, ...) ein oder mehr Pixel umfasst.
Straßenerfassungssystem, das dafür ausgelegt ist, an einem Fahrzeug getragen zu werden, umfassend: wenigstens einen Bildsensor (3, 3') zum Erfassen eines Bildes; Mittel (13) zum Ausschneiden von Fenstern (W₁₁, W₁₂, ...) aus dem von dem Bildsensor (3, 3') erfassten Bild; Mittel (31) zum Bestimmen des Helligkeitswertes von jedem der Fenster (W₁₁, W₁₂, ...); und Mittel (33) zum Vergleichen des Helligkeitswertes mit einem Referenzwert, um zu bestimmen, dass jedes der Fenster (W₁₁, W₁₂, ...) zu einer Straßenfläche gehört, wenn die Differenz innerhalb eines vorbestimmten Bereichs liegt, dadurch gekennzeichnet, dass der Referenzwert wiederholt erzeugt wird und der Helligkeitswert des Fensters (W₁₁, W₁₂, ...), das zuletzt als zur Straßenfläche gehörend bestimmt wurde, den Referenzwert ersetzt.
Straßenerfassungssystem nach Anspruch 6 gekennzeichnet durch: Mittel (7) zum Messen des Abstands von dem Bildsensor (3, 3') zu einem Objekt für jedes der Fenster (W₁₁, W₁₂, ...); und Mittel (34) zum Bestimmen, dass ein untersuchtes Fenster (W₁₁, W₁₂, ...) zur Straßenfläche gehört, wenn der für das Fenster (W₁₁, W₁₂, ...) gemessene Abstand innerhalb eines vorbestimmten Bereichs der anderen Fenster (W₁₁, W₁₂, ...) liegt, die als zur Straßenfläche gehörend bestimmt wurden, sogar wenn der Helligkeitsvergleich anzeigt, dass das untersuchte Fenster (W₁₁, W₁₂, ...) nicht zur Straßenfläche gehört.
Verfahren zur Bestimmung der Straßenfläche, umfassend die Schritte: Erfassen eines Bildes der Sicht vor einem Fahrzeug und Unterteilen des Bildes in eine Mehrzahl von Fenstern (W₁₁, W₁₂, ...); Gewinnen der jeweiligen Helligkeitswerte für eine Mehrzahl von Fenstern (W₁₁, W₁₂, ...); Extrahieren eines Referenzhelligkeitswerts basierend auf der Mehrzahl von Helligkeitswerten; und Vergleichen des Helligkeitswerts anderer Fenster (W₁₁, W₁₂, ...) mit dem Referenzhelligkeitswert zum Bestimmen, dass jedes der anderen Fenster (W₁₁, W₁₂, ...) in einer Straßenfläche liegt, wenn die Differenz innerhalb eines vorbestimmten Bereichs liegt, dadurch gekennzeichnet, dass das Verfahren ferner den Schritt umfasst, den Helligkeitswert des anderen Fensters (W₁₁, W₁₂, ...), das zuletzt als eine Straßenfläche bestimmt wurde, als einen neuen Referenzhelligkeitswert zu setzen.
Verfahren nach Anspruch 8, ferner umfassend den Schritt: Bereitstellen wenigstens zweier Abbildungssensoren in einem vorbestimmten Abstand; und Messen des Abstands zu einem Objekt, basierend auf zwei oder mehr durch die zwei oder mehr Abbildungssensoren erhaltenen Bilder.
Verfahren nach Anspruch 9, ferner umfassend den Schritt: Bestimmen, dass ein untersuchtes Fenster (W₁₁, W₁₂, ...) zu einer Markierung auf der Straße gehört, wenn der für das untersuchte Fenster (W₁₁, W₁₂, ...) gemessene Abstand innerhalb eines vorbestimmten Bereichs des Abstands von einem oder mehr Fenstern (W₁₁, W₁₂, ...) liegt, die als zur Straßenfläche gehörend bestimmt wurden.