DE102008034304A1

DE102008034304A1 - Eingebautes Bildverarbeitungsgerät für Fahrzeuge

Info

Publication number: DE102008034304A1
Application number: DE102008034304A
Authority: DE
Inventors: Junko Kawasaki-shi Amagasaki
Original assignee: NEC Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2007-07-24
Filing date: 2008-07-23
Publication date: 2009-04-16
Anticipated expiration: 2028-07-24
Also published as: JP4937030B2; DE102008034304B4; US8116523B2; JP2009029171A; US20090028388A1

Abstract

Ein eingebautes Bildverarbeitungsgerät (M100) für Fahrzeuge hat: ein Bildaufnahmegerät (M101) zum Aufnehmen eines Bildes in einer Frontsicht aus einem Fahrzeug; eine Kantenerfassungssektion (M104) zum Erzeugen von Erfassungsbilddaten auf der Grundlage der Bilddaten und eine Merkmalspunkt-Erfassungssektion (M111) zum Erfassen von wenigstens einem Merkmalspunkt auf der Grundlage der Erfassungsbilddaten. Die Merkmalspunkt-Erfassungssektion (M111) kategorisiert den wenigstens einen Merkmalspunkt als einen Fahrbahntrennlinienmerkmalspunkt, einen Abzweigungsmerkmalspunkt und einen Sackgassen- und Hindernismerkmalspunkt. Die Erfassungsbilddaten enthalten eine Fahrbahntrennlinienerfassungs-Scannregion (A101), die in einer zum Fahrzeug nahen Region eingestellt ist, eine Abzweigungserfassungs-Scannregion (A102), die in einer zum Fahrzeug mittleren Region eingestellt ist, und eine Sackgassen- und Hinderniserfassungs-Scannregion (A103), die in einer zum Fahrzeug entfernten Region eingestellt ist. Der Aufwand für Scannprozesse kann reduziert werden.

Description

HINTERGRUND DER ERFINDUNG
1. Erfindungsgebiet
Die vorliegende Erfindung betrifft ein Bildverarbeitungsgerät, das in einem Fahrzeug installiert ist, und so gestaltet ist, dass es ein Bild eines Blicks nach vorne aus dem Fahrzeug aufnimmt.
2. Beschreibung des Standes der Technik
Es sind Bildverarbeitungsgeräte entwickelt worden, die in Fahrzeugen installiert sind. Solche Geräte können bei automatischen Fahrtechniken angewandt werden. Für ein bildverarbeitendes Gerät sind die folgenden drei Charakteristika erforderlich.
Um die Fahrbahn, auf der das Fahrzeug fährt, zu erkennen, ist es erstens notwendig, ein Bild von der Frontsicht aus dem Fahrzeug durch eine Kamera, wie beispielsweise den CCD-(ladungsgekoppelte Vorrichtung)- oder den CMOS-(Komplementär-Metalloxidhalbleiter)-Bildsensor aufzunehmen und eine Verarbeitung des Bildes in Echtzeit durchzuführen.
Zweitens ist für das sichere Fahren ein korrektes Erkennen der Fahrbahn erforderlich. Daher ist es erforderlich, dass die eingegebenen Bilddaten der Fahrbahn ein Merkmal haben, das bei der Bilderkennung einen geringeren Fehler hervorbringt.
Drittens ist es erforderlich, aus dem Bild der Frontsicht Information über die Kanten der Fahrbahnmarkierung zu extrahieren, die auf der Oberfläche der Fahrbahn aufgemalt ist. In einer derartigen Information ist beispielsweise die Position einer Fahrbahntrennlinie auf der Fahrbahnoberfläche, die Anwesenheit oder Abwesenheit einer Abzweigung der Fahrbahn oder die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses repräsentiert.
Es werden einige Beispiele von Bildverarbeitungsgeräten für Fahrzeuge vorgestellt.
Die offengelegte japanische Patentanmeldung JP-P 2003-308534A beschreibt ein Erkennungsgerät für weiße Linien. In diesem Erkennungsgerät für weiße Linien wird ein nach vorne gerichtetes Bild der Straßenoberfläche, die eine laufende Fahrspur enthält, abgebildet, und das Straßenoberflächenbild wird seitlich gescannt. Durch Erfassen einer oberen Kante, an der die Intensität (nämlich die Helligkeit, Konzentration oder der Pixelwert) des Bildes um mehr als ein vorbestimmter Wert relativ erhöht ist, und einer unteren Kante, an der die Intensität des Bildes durch mehr als einen vorbestimmten Wert relativ vermindert ist, wird ein heller Teil, der durch eine weiße Linie auf der Straßenoberfläche verursacht wird, extrahiert. Zu diesem Zeitpunkt werden weiße Linien-Positionskandidatenpunkte, die einen Seitenrandteil der Fahrbahn repräsentieren, für jede Längsposition des Straßenbildes bestimmt. In diesem Fall wird, wenn nur ein Kantenpaar bestehend aus einer Oberkante und einer Unterkante, die dem hellen Teil entsprechen, an derselben Position in der Längsrichtung des Straßenoberflächenbildes erfasst werden, ein Punkt mit einer vorbestimmten Relativposition, die für das Kantenpaar vorab gesetzt worden ist, als der weiße Linien-Positionskandidatenpunkt definiert. Auch wenn eine Anzahl von Kantenpaaren erfasst werden, wird in Übereinstimmung mit dem Feld der Anzahl von Kantenpaaren ein Punkt mit einer vorbestimmten Relativposition, die für die Anzahl von Kantenpaaren vorab gesetzt worden ist, als der weiße Linien-Positionskandidatenpunkt definiert. Auf diese Weise wird in dem Weiße-Linien-Erkennungsgerät selbst in dem Straßenteil, auf welchem eine Anzahl von weißen Linien angeordnet sind, ein Weiße-Linien-Positionskandidatenpunkt erzielt, wenn von der weißen Linie des Straßenteils angenommen wird, dass sie der einzelne Straßenteil ist.
Die japanische Patentveröffentlichung Nr. 2712809 beschreibt auch ein Fahrzeughindernis-Erfassungsgerät. In diesem Fahrzeughindernis-Erfassungsgerät werden nur eine horizontale Kante und eine vertikale Kante, die sich länger erstrecken als sie in dem unteren Teil eines Bildschirms existieren, aus einem eingegebenen Bild extrahiert, und eine Fläche, die von den horizontalen und vertikalen Kanten umgeben ist, wird als ein Hindernis erkannt. Bei dieser Konstruktion kann ein Abstandsmesssystem unter Verwendung von nur einer Kamera aufgebaut sein.
ZUSAMMENFASSUNG
In den vorstehend ausgeführten eingebauten Bildverarbeitungsgeräten für Fahrzeuge (insbesondere Weiße-Linien-Erkennungsgeräte) sind für das Erfassen der Fahrbahntrennlinie, der Abzweigung, der Sackgasse und des Hindernisses festliegende Muster zum Erfassen derselben vorbereitet, und der gesamte Bereich des Bildes wird zum Überprüfen der Übereinstimmung des Bildes mit den Muster gescannt. Da in diesem Fall der gesamte Bereich gescannt wird, besteht das Problem, dass die Anzahl der Verarbeitungsschritte des Scannens entsprechend der Ganzbildgröße des Bildes groß wird.
Gemäß einem ersten Aspekt der vorliegenden Erfindung hat ein eingebautes Bildverarbeitungsgerät für Fahrzeuge: ein Bildaufnahmegerät, das so gestaltet ist, dass es Bilddaten durch Aufnehmen eines Bildes einer Frontsicht aus einem Fahrzeug erzeugen kann; eine Kantenerfassungssektion, die so gestaltet ist, dass sie Erfassungsbilddaten, die Pixel von m Zeilen und n Spalten (m und n sind ganze Zahlen größer als 2) auf der Grundlage der Bilddaten erzeugen kann; und eine Merkmalpunkterfassungssektion, die so gestaltet ist, dass sie wenigstens einen Merkmalspunkt auf der Grundlage der Erfassungsbilddaten erfassen kann und wenigstens einen Merkmalspunkt an ein Ausgabegerät ausgibt. Die Merkmalspunkt-Erfassungssektion kategorisiert den wenigstens einen Merkmalspunkt als einen Fahrbahntrennlinienmerkmalspunkt, der einen Punkt auf einer Fahrbahntrennlinie anzeigt, einen Abzweigungsmerkmalspunkt, der eine Abzweigung einer Fahrbahn anzeigt, und einen Sackgassen- und Hindernismerkmalspunkt, der eine Sackgasse einer Fahrbahn oder ein Hindernis auf der Fahrbahn anzeigt. Die Erfassungsbilddaten enthalten eine Fahrbahntrennlinienerfassungs-Scannregion, die für das Erfassen des Fahrbahntrennlinienmerkmalspunkts gesetzt ist, eine Abzweigungserfassungs-Scannregion, die für das Erfassen des Abzweigungsmerkmalspunkts gesetzt ist, und eine Sackgassen- und Hinderniserfassungs-Scannregion, die für das Erfassen der Sackgassen- und Hindernismerkmalspunkts gesetzt ist. Der Abstand zwischen einem Fahrzeug, welches das Bildaufnahmegerät lädt, und einer Position auf einer Fahrbahn entsprechend einem Pixel in den Erfassungsbilddaten wird von einer ersten Zeile bis zu einer m-ten Zeile der Erfassungsbilddaten kürzer. Die Sackgassen- und Hinderniserfassungs-Scannregion ist in Pixeln gesetzt, die von der ersten Zeile bis zu einer m1-ten Zeile der Erfassungsbilddaten positioniert sind, die Abzweigungserfassungs-Scannregion ist in Pixeln gesetzt, die von der m1-ten Zeile bis zu einer m2-ten Zeile der Erfassungsbilddaten positioniert ist, und die Fahrbahntrennlinienerfassungs-Scannregion ist in Pixeln gesetzt, die von der m2-ten Zeile bis zu der m-ten Zeile der Erfassungsbilddaten positioniert sind, wobei gilt 1 < m1 < m2 < m.
Wie vorstehend angegeben, ist in einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung jedem der Merkmalspunkte (einer Fahrbahntrennlinie, einer Abzweigung, einer Sackgasse oder einem Hindernis) der Straße eine Scannregion zugewiesen, die für Erfassungsbilddaten (Bilddaten zur Erfassung von Merkmalspunkten) gesetzt ist. Somit kann die Anzahl der Schritte des Bildscannvorgangs reduziert werden.
In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung wird die Eigenschaft des Bildes, nämlich die Perspektive, bei der der Vordergrund groß und der Hintergrund klein erscheint, zum Bestimmen der jeweiligen Scannregionen entsprechend den Arten der auf einer Straße zu erfassenden Ziele bestimmt. Somit ist es möglich, den Einfluss von Rauschen in dem Scannbereich zu reduzieren, sodass es möglich ist, Fehler bei dem Erfassen der Merkmalspunkte auf der Straße zu reduzieren.
In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung ist auch eine Fahrbahntrennlinienerfassungs-Scannregion (A101) im Vordergrund (der unteren Seite der Bildregion) gesetzt. Selbst wenn die Fahrzeugposition von der Fahrbahn abweicht oder wenn das Fahrzeug durch eine Kurve fährt, kann somit die Fahrbahntrennlinie wenigstens teilweise abgebildet werden. Daher wird es selbst in solchen Fällen einfach, den Vorgang zum Berechnen der Fahrzeugposition durchzuführen.
In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung ist auch der Hintergrund in dem Bild als die Sackgassen- und Hindemiserfassungs-Scannregion gesetzt. Daher kann das Vorhandensein oder die Abwesenheit einer Sackgasse oder eines Hindernisses früher als das Erfassen der Abzweigung erfasst werden. Somit wird es einfach, die Entscheidung, wie beispielsweise eine Geschwindigkeitssteuerung, eine Richtungssteuerung und dergleichen durchzuführen, wenn das Ausgabegerät (M200) das Fahren des Fahrzeugs steuert.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorstehenden und weitere Aufgaben, Vorteile und Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung gewisser bevorzugter Ausführungsformen anhand der begleitenden Zeichnungen im Einzelnen hervor, in welchen zeigt:
1 eine Konfiguration eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge;
2A ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
2B ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
2C ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
2D ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
3A eine Ansicht eines zweidimensionalen Raumfilters (Glättungsfilter), das bei einer Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge verwendet wird;
3B eine Ansicht eines zweidimensionalen Raumfilters (Laplace-Glättungsfilter), das bei einer Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge verwendet wird;
4A eine Ansicht, die das Erfassen eines Fahrbahntrennlinienmerkmalspunkts als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
4B eine Ansicht, die das Erfassen eines Fahrbahntrennlinienmerkmalspunkts als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt;
5 eine Ansicht, die eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge beschreibt, die eine Fahrbahntrennlinienerfassungs-Scannregion A101, eine Abzweigungserfassungs-Scannregion A102 und eine Sackgassen- und Hinderniserfassungs-Scannregion A103 von Merkmalspunkt-Erfassungsbilddaten zeigt;
6 eine Ansicht, die das Berechnen einer laufenden Fahrzeugposition als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge beschreibt;
7A eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird;
7B eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird; und
7C eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Im Folgenden wird ein eingebautes Bildverarbeitungsgerät für Fahrzeuge gemäß der Ausführungsformen der vorliegenden Erfindung anhand der anhängenden Zeichnungen beschrieben.
[Konfiguration]
1 zeigt eine Konfiguration eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge M100 gemäß einer Ausführungsform der vorliegenden Erfindung. Das eingebaute Bildverarbeitungsgerät für Fahrzeuge M100 ist in einem Fahrzeug zusammen mit der anderen Ausrüstung unter Verwendung des Ergebnisses der Bildverarbeitung wie einem automatischen Fahrsystem M200 installiert. Das eingebaute Bildverarbeitungsgerät für Fahrzeuge enthält ein Abbildungsgerät M101, einen Analog-Digital-(A/D)-Wandler M102 und ein Bildverarbeitungsgerät M110.
Das Abbildungsgerät M101 hat eine Kamera, wie beispielsweise eine CCD oder einen CMOS-Bildsensor, und ist in der Blickrichtung nach vorne eingestellt. Der A/D-Wandler M102 ist mit dem Abbildungsgerät M101 und dem Bildverarbeitungsgerät M110 verbunden. Das Bildverarbeitungsgerät M110 ist ein Computer und ist durch eine Hardware, beispielsweise eine Elektronikschaltung, und eine Software, beispielsweise ein Computerprogramm, realisiert.
Das Bildverarbeitungsgerät M110 enthält einen Speicher M103, eine Kantenerfassungssektion M104, eine Kantenkorrektur- und Rauschreduktionssektion M105 und eine Merkmalspunkt-Erfassungssektion M111. Die Merkmalspunkt-Erfassungssektion M111 enthält eine Fahrbahntrennlinien-Erfassungssektion M106, eine Abzweigungserfassungssektion M107, eine Sackgassen- und Hinderniserfassungssektion M108 und eine Fahrzeugposition-Schätzsektion M109. Der Speicher M103 ist mit dem A/D-Wandler M102 und der Kantenerfassungssektion M104 verbunden. Die Kantenerfassungssektion M104 ist mit der Kantenkorrektur- und Rauschreduktionssektion M105 verbunden. Die Kantenkorrektur- und Rauschreduktionssektion M105 ist mit der Fahrbahntrennlinien-Erfassungssektion M106, der Abzweigungserfassungssektion M107 und der Sackgassen- und Hinderniserfassungssektion M108 verbunden. Die Fahrbahntrennlinien-Erfassungssektion M106 ist mit der Fahrzeugpositions-Schätzsektion M109 verbunden. Die Fahrzeugpositions-Schätzsektion M109, die Abzweigungserfassungssektion M107 und die Sackgassen- und Hinderniserfassungssektion M108 sind mit einem Ausgabegerät wie beispielsweise einem automatischen Fahrsystem M200 verbunden.
[Funktionsweise]
Die 2A bis 2D sind Flussdiagramme, die die Funktionsweisen des in der 1 gezeigten eingebauten Bildverarbeitungsgeräts M100 für Fahrzeuge zeigen.
Das Abbildungsgerät M101 nimmt ein Bild des Blicks nach vorne aus dem Fahrzeug auf eine Straße unter Verwendung einer Kamera auf und erzeugt analoge Bilddaten, die das Bild vor dem Fahrzeug aus dem Fahrzeug gesehen repräsentieren. Der A/D-Wandler M102 führt eine Analog/Digital-Wandlung an den analogen Bilddaten durch, um digitale Bilddaten zu erzeugen und speichert die digitalen Bilddaten in dem Speicher M103 (Schritt S101). Diese digitalen Bilddaten enthalten Pixeldaten entsprechend den Pixeln, die in einer Matrix von m Zeilen und n Spalten angeordnet sind, die den Blick aus dem Fahrzeug nach vorne repräsentieren. Hierbei sind m und n ganze Zahlen von 3 oder größer.
Die Kantenerfassungssektion M104 erzeugt zweidimensional gefilterte Bilddaten mittels Durchführen eines zweidimensionalen Filterungsvorgangs an den m Zeilen- und n Spaltenpixeln der in dem Speicher M103 gespeicherten digitalen Bilddaten.
In dem "zweidimensionalen Raumfilter" wird der Filterungsvorgang an einem fokussierten Pixel auf der Grundlage der Information eines gewissen zweidimensionalen Bereichs, der das fokussierte Pixel auf dem Bild umgibt, durchgeführt. In dieser Ausführungsform ist in dem zweidimensionalen Filterungsvorgang ein Quadrat oder ein Rechteck, welches einen Bereich umgibt (Umfang) für jedes der Pixel g(i, j) gesetzt. Dann wird für jedes der Pixel in dem umgebenden Bereich für jedes der Pixel eine Gewichtung vorab gesetzt. Der gewichtete Mittelwert der Intensität des umgebenden Bereichs wird für jedes der Pixel in den gesamten Bildern als die gefilterte (erneut berechnete oder der Mittelwert) Intensität des mittleren Pixels f(i, j) berechnet. Für den Fall, dass beispielsweise der umgebende Bereich auf einen 3 × 3-Quadratbereich gesetzt ist, wird die mittlere Intensität f(i, j) durch die Mittelwertbildung der Intensitäten der 9 Pixel g(i – 1, j – 1), g(i, j – 1), g(i + 1, j – 1), g(i – 1, j), g(i, j), g(i + 1, j), g(i – 1, j + 1), g(i, j + 1) und g(i + 1, j + 1) mit ihren jeweiligen Gewichtungen berechnet. Wenn das Bild ein Farbbild ist, wird diese Mittelwertbildung für jede der Farbkomponenten der Pixel für jede der m Zeilen und n Spalten von Pixeln der digitalen Bilddaten durchgeführt.
Wenn hierbei i und j ganze Zahlen sind, die die Bedingung erfüllen 2 ≤ i ≤ (m – 1) bzw. 2 ≤ j ≤ (n – 1), wird die mittlere Intensität f(i, j) durch die folgende Gleichung (1) repräsentiert.
Hierbei ist M(i, j) eine Raumfilterkoeffizientmatrix, die als eine Tabelle der Gewichtungen in dem Umfangsbereich für jedes der Pixel funktioniert und die Suffixe zeigen die Position jedes Elements dieser Matrix an. Die Matrix M wird durch die folgende Gleichung (2) repräsentiert.
Durch Setzen verschiedener Gewichtungen in der Raumfilterkoeffizientenmatrix M(i, j) können verschiedene Arten von Filterung erzielt werden. Als solche zweidimensionale Filterungsvorgänge werden beispielsweise Glättungsfiltervorgänge (Schritt S102) und der Laplace-Filterungsvorgang (auch als Laplace-Glättungsfiltervorgang bezeichnet) (Schritt S103), bei dem beispielsweise die 3 × 3-Maskenfilter, die in den 3A, 3B gezeigt sind, jeweils verwendet.
Zunächst wird in dem Glättungsfiltervorgang (auch als einfacher Glättungsfiltervorgang bezeichnet) die mittlere Intensität f(i, j) berechnet durch: f(i, j) = {1 × g(i – 1, j – 1) + 1 × g(i, j – 1) + 1 × g(i + 1, j – 1) + 1 × g(i – 1, j) + 1 × g(i, j) + 1 × g(i + 1, j) + 1 × g(i – 1, j + 1) + 1 × g(i, j + 1) + 1 × g(i + 1, j + 1)}/9.
Die Koeffizienten, die vor jedem Wert g(x, y) liegen, sind durch die folgende Gleichung (3) in der Form der Raumfilterkoeffizientenmatrix M(i, j) repräsentiert.
Als Nächstes bestimmt der Laplace-Filterungsvorgang die Differenz zwischen der Intensität f(i, j), repräsentiert durch das fokussierte Pixel g(i, j), und den Intensitäten f(i – 1, j – 1), f(i, j – 1), f(i + 1, j – 1), f(i – 1, j), f(i + 1, j), f(i - 1, j + 1), f(i, j + 1) und f(i + 1, j + 1), die durch die 8 umgebenden Pixel g(i – 1, j – 1), g(i, j – 1), g(i + 1, j – 1), g(i –1, j), g(i + 1, j), g(i – 1, j + 1), g(i, j + 1) bzw. g(i + 1, j + 1) repräsentiert sind, welche die Pixel um das fokussierte Pixel sind. Zu diesem Zeitpunkt wird die Raumfilterkoeffizientenmatrix M(i, j) durch die Gleichung (4) repräsentiert.
Die Kantenerfassungssektion M104 führt einen Binarisierungsvorgang an den m Zeilen- und den n Spaltenpixeln der zweidimensional gefilterten Bilddaten durch, um in die Binärform gebrachte Bilddaten zu erzeugen (Schritt S104).
In diesem Binarisierungsvorgang wird der erste Wert und der zweite Wert, beispielsweise "1" und "0", der eine binäre Ziffer bildet, gesetzt. Es wird "1" oder "0" gesetzt, um die binäre Zahl entsprechend Schwarz anzuzeigen, wenn die berechnete Intensität jeder der m Zeilen- und n Spaltenpixel der zweidimensional gefilterten Bilddaten unter einem vorbestimmten Schwellwert ist, und es wird der andere Wert von "1" oder "0" gesetzt, um die binäre Zahl entsprechend Weiß anzuzeigen, wenn die berechnete Intensität jedes derselben oberhalb des vorbestimmten Schwellwerts ist. Als Ergebnis werden die in binäre Form gebrachten Bilddaten, zusammengesetzt aus Pixeln, die jeweils entweder den Wert "1" oder "0" haben, erzeugt. Die Kantenerfassungssektion M104 gibt die in die Binärform gebrachten Bilddaten an die Kantenkorrektur- und Rauschreduktionssektion M105 als Rauscherfassungsbilddaten.
Die Kantenkorrektur- und Rauschreduktionssektion M105 erzeugt Merkmalpunkt-Erfassungsbilddaten, indem sie eine Kantenkorrektur und eine Rauschreduktion an den m Zeilen- und n Spaltenpixeln der Rauscherfassungsbilddaten durchführt (Schritt S105).
In diesem Kantenkorrektur- und Rauschreduktionsvorgang wird jede der Anzahl von Binärzahlen "0" und "1", die durch die umgebenden Pixel um das fokussierte Pixel repräsentiert ist, für jede der m Zeilen- und n Spaltenpixel der Rauscherfassungsbilddaten gezählt. Und dann wird die Binärzahl jedes der Pixel durch eine neue Binärzahl in Übereinstimmung mit der Zahl, die durch Zählen von "0" und "1" um das Pixel, das Verhältnis von der Anzahl von "0"-Pixeln zu "1"-Pixeln und das Übereinstimmungsergebnis der Anordnung der "0"- und "1"-Pixel mit dem vorab gesetzten Muster erzielt worden ist, ausgetauscht. Dieser Vorgang wird an allen Pixeln durchgeführt.
Was einen solchen Zustand betrifft, können die folgenden drei Punkte veranschaulicht werden.
Zustand 1: Wenn die Binärzahl, welche durch das fokussierte Pixel repräsentiert ist, Schwarz "1" ist und wenn 4 Pixel oder mehr unter den umgebenden Pixeln die Binärzahl haben, welche Weiß "0" repräsentiert, wird die Binärzahl, welche von dem fokussierten Pixel repräsentiert ist, von Schwarz "1" in Weiß "0" geändert.
Zustand 2: Wenn die Binärzahl, welche von dem fokussierten Pixel repräsentiert ist, Weiß "0" oder Schwarz "1" ist und wenn ein, zwei oder drei Pixel von den umgebenden Pixeln die Binärzahl haben, welche Weiß "0" repräsentiert, wird die Binärzahl des fokussierten Pixels auf dem aktuellen Wert gehalten.
Zustand 3: Wenn die Binärzahl, welche durch das fokussierte Pixel repräsentiert wird, Weiß "0" oder Schwarz "1" ist und wenn alle umgebenden Pixel die Schwarz repräsentierende Binärzahl "1" haben, wird die durch das fokussierte Pixel repräsentierte Binärzahl durch Schwarz "1" ersetzt.
Der vorstehende Zustand ist ein Beispiel, und es können andere Arten von Zuständen für den Kantenkorrektur- und Rauschreduktionsvorgang verwendet werden.
Bezüglich der Merkmalspunkt-Erfassungsbilddaten, die durch die Vorgänge in den Schritten S102 bis S105 erzielt werden, wird verglichen mit den digitalen Bilddaten, die im Schritt S101 erzielt werden deren Kontrast verstärkt und das Rauschen unterdrückt. Da der Kontrast verstärkt ist, ist die Kante verstärkt, was es ermöglicht, dass der Merkmalspunkt auf der Straße leicht zu extrahieren ist. Die Kantenkorrektur- und Rauschreduktionssektion M105 gibt die Merkmalspunkt-Erfassungsbilddaten an die Merkmalspunkt-Erfassungssektion M111 aus.
Die Merkmalspunkt-Erfassungssektion M111 scannt m Zeilen und n Spaltenpixel der Merkmalspunkt-Erfassungsbilddaten jeweils eine Zeile auf einmal als Scannzeile und erfasst die Pixel, die die Binärzahl "1" haben, welche Schwarz repräsentieren, aus den m Zeilen und n Spalten der Pixel und erfasst Merkmalspunkte der Fahrbahn in Übereinstimmung mit den Pixeln, welche Schwarz "1" repräsentieren. In dem Fall einer weißen Linie beispielsweise wie in der 4A gezeigt repräsentiert das Pixel, welches unter den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten Schwarz "1" repräsentiert, eine weiße Linie.
Der Merkmalspunkt ist in einer Anzahl von Arten kategorisiert, die veranschaulicht sind durch: einen Fahrbahntrennlinienmerkmalspunkt, der eine Linie repräsentiert, die auf eine Straßenoberfläche gemalt ist, um benachbarte Fahrspuren zu trennen, typischerweise eine weiße Linie; einen Abzweigungsmerkmalspunkt, der eine Abzweigung von der Straße repräsentiert; und einen Sackgassen- und Hindernismerkmalspunkt, der repräsentiert, dass die Straße in eine Sackgasse führt oder die Straße durch ein Hindernis blockiert ist.
Bei der Erläuterung der Ausührungsformen der vorliegenden Erfindung können anstatt der Fahrbahntrennlinie, die typischerweise eine weiße Linie ist, andere Arten von Fahrbahnmarkierungen auf die gleiche Weise verarbeitet werden. Solche Fahrbahnmarkierungen umfassen eine gelbe Linie, die repräsentieren, dass die Fahrzeugspur eine Überholverbotszone ist, und Zeichen, die eine Verkehrsregel repräsentieren, wie beispielsweise eine zulässige Geschwindigkeit, eine Wegrichtung und dergleichen.
Die Merkmalspunkt-Erfassungssektion M111 scannt die m Zeilen und n Spaltenpixel der Merkmalspunkt-Erfassungsbilddaten jeweils eine Zeile auf einmal ab. Bei diesem Vorgang werden die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte in der genannten Reihenfolge gescannt, und umgekehrt werden die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte in dieser Reihenfolge abgescannt, wie dies in den 4A und 4B gezeigt ist. Entlang diesem Scannweg wird, wenn der Binärwert des gescannten Pixels sich von Weiß "0", repräsentiert durch eine erste Pixelgruppe in Schwarz "1", repräsentiert durch eine zweite Pixelgruppe, ändert, die Grenze zwischen der ersten Pixelgruppe "0" und der zweiten Pixelgruppe "1" als eine Oberkante bezeichnet. Ähnlich wird, wenn der Binärwert sich von Schwarz "1", repräsentiert durch die zweite Pixelgruppe, in Weiß "0", repräsentiert durch eine dritte Pixelgruppe entlang dem Scannweg geändert wird, die Grenze zwischen der zweiten Pixelgruppe "1" und der dritten Pixelgruppe "0" als eine Unterkante bezeichnet.
Die Fahrbahntrennlinien-Erfassungssektion M106, die Abzweigungserfassungssektion M107 und die Sackgassen- und Hinderniserfassungssektion M108 in der Merkmalspunkt-Erfassungssektion M111 umfassen eine festliegende Schablone für eine Fahrbahntrennlinienerfassung (nicht dargestellt), eine festliegende Schablone für eine Abzweigungserfassung (nicht dargestellt) bzw. eine festliegende Schablone für eine Sackgassen- und Hinderniserfassung (nicht dargestellt). Die Fahrbahntrennlinien-Erfassungssektion M106 erfasst eine Fahrbahntrennlinie auf der Grundlage des vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmusters, das durch die festliegende Schablone für die Fahrbahntrennlinienerfassung repräsentiert ist. Die Abzweigungserfassungssektion M107 erfasst eine Abzweigung auf der Grundlage des vorab gesetzten Abzweigungs-Merkmalspunktmusters, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist. Und die Sackgassen- und Hinderniserfassungssektion M108 erfasst die Sackgasse und das Hindernis auf der Grundlage des vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmusters, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist. Jedes vorab gesetzte Fahrbahntrennlinien-Merkmalspunktmuster, vorab gesetzte Abzweigungs-Merkmalspunktmuster und vorab gesetzte Sackgassen- und Hindernis-Merkmalspunktmuster ist aus einem Paar aus Oberkante und Unterkante zusammengesetzt.
Wie in der 5 gezeigt, enthalten die Merkmalspunkt-Erfassungsbilddaten eine Fahrbahntrennlinienerfassungs-Scannregion A101, eine Abzweigungserfassungs-Scannregion A102 und eine Sackgassen- und Hinderniserfassungs-Scannregion A103. In den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten entspricht der Abstand zwischen einer Position auf der in dem Bild gezeigten Fahrbahn und dem Fahrzeug der Längsposition der Position auf dem Bild. Der Abstand zwischen dem Fahrzeug und einer Position auf der Fahrbahn entsprechend einem Pixel im Bild wird von der ersten Zeile bis zur m-ten Zeile des Bildes kürzer. Der Abstand zwischen dem Fahrzeug und der Position mit dem kleineren k auf dem Bild ist nämlich größer als der Abstand zwischen dem Fahrzeug und der Position, die auf dem Bild einen größeren Wert k hat, wenn der Wert k von oben (k = 1) bis nach unten (k = m) des Bildes gezählt wird. Es wird auch die Beziehung 1 < m1 < m2 < m angenommen. In diesem Fall entspricht die Sackgassen- und Hinderniserfassungs-Scannregion A103 einem vom Fahrzeug entfernten Bereich und ist in den Pixeln von der ersten Zeile bis zu der m1-ten Zeile unter den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten gesetzt. Die Abzweigungserfassungs-Scannregion A102 entspricht dem mittleren Bereich vom Fahrzeug und ist in den Pixeln von der (m1 + 1)-ten Zeile bis zur m2-ten Zeile gesetzt, und die Fahrbahntrennlinienerfassungs-Scannregion A101 entspricht dem dem Fahrzeug nahen Bereich und ist in den Pixeln von der (m2 + 1)-ten Zeile bis zur m-ten Zeile gesetzt.
Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel von der (m2 + 1)-ten Zeile bis zur m-ten Zeile in der Fahrbahntrennlinienerfassungs-Scannregion A101, jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach links ab. Das heißt, die linksseitigen Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in dieser Reihenfolge gescannt. Zu diesem Zeitpunkt erfasst die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel, in welchen die Binärzahl Schwarz "1" repräsentiert unter den Pixeln von der (m2 + 1)-ten Zeile bis zur m-ten Zeile als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt. Unter Verwendung der festliegenden Schablone für eine Fahrbahntrennlinienerfassung wird für den in Frage kommenden Fahrbahntrennlinienmerkmalspunkt ein Mustervergleich durchgeführt. Wenn bei dem Mustervergleich der in Frage kommende Fahrbahntrennlinienmerkmalspunkt "1" mit dem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster, das durch die festliegende Schablone für eine Fahrbahntrennlinienerfassung repräsentiert ist, übereinstimmt, entscheidet die Fahrbahntrennlinien-Erfassungssektion M106, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt ein linksseitiger Fahrbahntrennlinienmerkmalspunkt ist (Schritt S106).
Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel von der (m2 + 1)-ten Zeile bis zur m-ten Zeile in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach rechts. Das heißt, es werden die rechtsseitigen Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte in dieser Reihenfolge gescannt. Hierbei erfasst die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel, in welchen die Binärzahl Schwarz "1" repräsentiert, als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt unter den Pixeln von der (m2 + 1)-ten Zeile bis zur m-ten Zeile. Unter Verwendung der festliegenden Schablone für eine Fahrbahntrennlinienerfassung wird für den in Frage kommenden Fahrbahntrennlinienmerkmalspunkt ein Mustervergleich durchgeführt. Wenn bei dem Mustervergleich der in Frage kommende Fahrbahntrennlinienmerkmalspunkt "1" mit dem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster, das durch die festliegende Schablone für eine Fahrbahntrennlinienerfassung repräsentiert ist, übereinstimmt, entscheidet die Fahrbahntrennlinien-Erfassungssektion M106, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt der rechtsseitige Fahrbahntrennlinienmerkmalspunkt ist (Schritt S107).
Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, und führt einen Vervollständigungsvorgang durch, um den Teil zu vervollständigen, in welchem der Fahrbahntrennlinienmerkmalspunkt nicht erfasst worden ist (Schritt S112). Diese Vervollständigung wird wie folgt durchgeführt. Wenn die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, scannt, wird angenommen, dass ein Fahrbahntrennlinienmerkmalspunkt auf einer Seite, der linken Seite oder der rechten Seite der Fahrbahntrennlinienerfassungs-Scannregion A101 erfasst wird und auf der anderen Seite nicht erfasst wird. In diesem Fall wird auf der rechten Seite oder linken Seite, an der kein Fahrbahntrennlinienmerkmalspunkt erfasst worden ist, das zentrale Pixel der rechten oder linken Regionhälfte auf der seitlichen Scannlinie als ein vervollständigter Fahrbahntrennlinienmerkmalspunkt vervollständigt, um einen fehlenden Punkt einer Fahrbahntrennlinie zu vervollständigen.
Wenn beispielsweise die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal scannt, wird angenommen, dass der rechtsseitige Fahrbahntrennlinienmerkmalspunkt erfasst wird, und es wird angenommen, dass der linksseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst wird. In diesem Fall wird bei den linken Pixeln, aus welchen der linksseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das Pixel auf der (n/2)-ten Spalte, welches das zentrale Pixel ist, als der vervollständigte Fahrbahntrennlinienmerkmalspunkt vervollständigt. Ähnlich wird, wenn die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal scannt, angenommen, dass der linksseitige Fahrbahntrennlinienmerkmalspunkt erfasst wird, und es wird angenommen, dass der rechtsseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst wird. In diesem Fall wird aus den rechten Pixeln, aus welchen der rechtsseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das Pixel auf der (n/2)-ten Spalte, das das zentrale Pixel ist, als der vervollständigte Fahrbahntrennlinienmerkmalspunkt vervollständigt. Durch diesen Vervollständigungsvorgang werden die auf der rechten oder linken Fahrbahntrennlinie positionierten Punkte, die jedoch auf dem Bild fehlen, vervollständigt.
Die Fahrbahntrennlinien-Erfassungssektion M106 sendet die Fahrbahntrennlinienmerkmalspunkte (den linksseitigen Fahrbahntrennlinienmerkmalspunkt und den rechtsseitigen Fahrbahntrennlinienmerkmalspunkt), (den linksseitigen Fahrbahntrennlinienmerkmalspunkt und den vervollständigen rechtsseitigen Fahrbahntrennlinienmerkmalspunkt) und (den rechtsseitigen Fahrbahntrennlinienmerkmalspunkt und den vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkt) an die Fahrzeugpositions-Schätzsektion M109, wenn die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal gescannt worden sind.
Die Fahrzeugposition-Schätzsektion M109 berechnet die Fahrzeugposition, von der angenommen wird, dass sie die Position des Fahrzeugs auf der Fahrbahn anzeigt, als einen Merkmalspunkt auf der Fahrbahn in Übereinstimmung mit den Fahrbahntrennlinienmerkmalspunkten (dem linksseitigen Fahrbahntrennlinienmerkmalspunkt und dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt), (dem linksseitigen Fahrbahntrennlinienmerkmalspunkt und dem vervollständigten rechtsseitigen Fahrbahntrennlinienmerkmalspunkt) und (dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt und dem vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkt), die durch die Fahrbahntrennlinien-Erfassungssektion M106 jeweils eine Zeile auf einmal erfasst worden sind.
Wie im Einzelnen in der 6 gezeigt, wird die Koordination der Fahrbahntrennlinienerfassungs-Scannregion A101 so ersetzt, dass der Koordinatenwert des Pixels der (m2 + 1)-ten Zeile, erste Spalte mit (0, 0) definiert ist und der Koordinatenwert des Pixels der m-ten Zeile, n-te Spalte mit (Xmax, Ymax) definiert ist. Der seitliche Koordinatenwert des Pixels entsprechend dem linksseitigen Fahrbahntrennlinienmerkmalspunkt oder des vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkts ist als line_L definiert, und der seitliche Koordinatenwert des Pixels entsprechend dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt oder des vervollständigten rechtsseitigen Fahrbahntrennlinienmerkmalspunkts ist als line_R definiert. Wie in der 6 gezeigt, zeigt nämlich line_L den Fahrbahntrennlinienmerkmalspunkt an, der durch das Scannen der linken Seite des Bildes erfasst worden ist, und line_R zeigt den Fahrbahntrennlinienmerkmalspunkt an, der durch Scannen der rechten Seite des Bildes erfasst worden ist.
Wenn die derzeitige Fahrzeugposition auf einer Scannlinie als die Position center_pos angenommen wird, berechnet die Fahrzeugpositions-Schätzsektion M109 die derzeitige Fahrzeugposition center_pos durch die folgende Gleichung: center_pos = line_L + {(line_R-line_L)/2}
Als Nächstes repräsentieren der Koordinatenwert (0, Xmax/2) bzw. (Ymax, Xmax/2) die Pixel der (m2 + 1)-ten Zeile (n/2)-ten Spalte und der m-ten Zeile, (n/2)-ten Spalte, die als die zentrale Position des Bildes auf einer Scannlinie definiert sind. Dann wird die zentrale Position als CENTER und das Maß der Abweichung der Fahrzeugposition center_pos zur zentralen Position CENTER als line_delta definiert, die Fahrzeugpositions-Schätzsektion berechnet das Maß der Abweichung line_delta zur zentralen Position CENTER des Bildes auf einer Scannlinie durch die folgende Gleichung: line_delta = CENTER – center_pos
Diese Berechnung wird für jede Scannlinie zwischen den (m2 + 1)-ten und m-ten Zeilen in der Fahrbahntrennlinienerfassungs-Scannregion A101 durchgeführt (Schritt S113).
Als Nächstes berechnet die Fahrzeugpositions-Schätzsektion M109 den Mittelwert der Abweichungsmaße line_delta von der mittleren Position CENTER, die für alle Scannzeilen zwischen der (m2 + 1)-ten und m-ten Zeile bestimmt worden sind, und bestimmt die laufende Fahrzeugposition in Übereinstimmung mit dem Mittelwert (Schritt S114).
Im Einzelnen berechnet die Fahrzeugpositions-Schätzsektion M109 durch Definieren der Summe der Abweichungsgrößen line_delta gegenüber der mittleren Position CENTER bezogen auf alle Zeilen zwischen der (m2 + 1)-ten und m-ten Zeile als Σline_delta und den Mittelwert der Abweichungsgrößen line_delta als frame_delta, einen Mittelwert frame_delta durch die folgende Gleichung: frame_delta = (Σline_delta)/Ymax
Ferner berechnet die Fahrzeugposition-Schätzsektion M109 die derzeitige Fahrzeugfahrposition Current_CENTER, die die laufende Position des Fahrzeugs angibt, durch die folgende Gleichung: Current_CENTER = CENTER – frame_delta
Wenn hierbei Current_CENTER > 0 ist, zeigt dies an, dass das Fahrzeug auf der rechten Seite der mittleren Position des Bildes ist, und wenn Current_CENTER < 0 ist, zeigt dies an, dass das Fahrzeug auf der rechten Seite der zentralen Position des Bildes ist.
In dem Schritt S114 gibt die Fahrzeugpositions-Schätzsektion M109 die berechnete derzeitige Fahrzeugposition als die Fahrpositionsinformation an das automatische Fahrsystem M200 aus. Oder es können die derzeitige Fahrzeugposition und die Fahrbahntrennlinienmerkmalspunkte (der rechtsseitige Fahrbahntrennlinienmerkmalspunkt und der linksseitige Fahrbahntrennlinienmerkmalspunkt) als Fahrpositionsinformation an das automatische Fahrsystem M200 ausgegeben werden.
Die Abzweigungserfassungssektion M107 scannt die Pixel von der (m1 + 1)-ten Zeile bis zur m2-ten Zeile in der Abzweigungserfassungs-Scannregion A102 jeweils eine Zeile auf einmal von der mittleren Position des Bildes in der Richtung nach links. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Abzweigungserfassungssektion M107 das Pixel, dessen Binärzahl Schwarz "1" repräsentiert, unter den Pixeln von der (m1 + 1)-ten Zeile bis zur m2-ten-Zeile als einen in Frage kommenden Abzweigungsmerkmalspunkt. Die Abzweigungserfassungssektion M107 führt einen Mustervergleich des erfassten in Frage kommenden Abzweigungsmerkmalspunkts unter Verwendung der festliegenden Schablone für die Abzweigungserfassung durch. Wenn der in Frage kommende Abzweigungsmerkmalspunkt "1" beim Mustervergleich mit dem vorab gesetzten Abzweigungs-Merkmalspunktmuster, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist, übereinstimmt, entscheidet die Abzweigungserfassungssektion M107, dass der in Frage kommende Abzweigungsmerkmalspunkt ein linker Abzweigungsmerkmalspunkt ist (Schritt S108).
Die Abzweigungserfassungssektion M107 scannt die Pixel von der (m1 + 1)-ten Zeile bis zur m2-ten Zeile als der Abzweigungserfassungs-Scannregion A102, jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach rechts. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Abzweigungserfassungssektion M107 das Pixel, dessen Binärzahl Schwarz "1" repräsentiert, unter den Pixeln von der (m1 + 1)-ten Zeile bis zur m2-ten Zeile als einen in Frage kommenden Abzweigungsmerkmalspunkt. Die Abzweigungserfassungssektion M107 führt einen Mustervergleich des erfassten in Frage kommenden Abzweigungsmerkmalspunkts unter Verwendung der festliegenden Schablone für die Abzweigungserfassung durch. Wenn bei dem Mustervergleich der in Frage kommende Abzweigungsmerkmalspunkt "1" mit dem vorab gesetzten Abzweigungs-Merkmalspunktmuster, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist, übereinstimmt, entscheidet die Abzweigungserfassungssektion M107, dass der in Frage kommende Abzweigungsmerkmalspunkt ein rechter Abzweigungsmerkmalspunkt ist (Schritt S109).
Die Abzweigungserfassungssektion M107 erzeugt eine Abzweigungsinformation, die anzeigt, ob der erzielte Abzweigungsmerkmalspunkt (der rechte Abzweigungsmerkmalspunkt oder der linke Abzweigungsmerkmalspunkt) auf der rechten Seite der mittleren Position des Bildes existiert oder auf der linken Seite existiert oder an beiden Seiten der rechten und linken Seite existiert oder auf den beiden Seiten rechts und links nicht existiert, und gibt dann die Abzweigungsinformation an das automatische Fahrsystem M200 aus (Schritt S115).
Die Sackgassen- und Hinderniserfassungssektion M108 scannt die Pixel von der ersten Zeile bis zur m1-ten Zeile in der Sackgassen- und Hinderniserfassungs-Scannregion A103 jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach links. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Sackgassen- und Hinderniserfassungssektion M108, dessen Binärzahl "1" repräsentiert, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt, unter den Pixeln von der ersten Zeile bis zur m1-ten Zeile. Die Sackgassen- und Hinderniserfassungssektion M108 führt einen Mustervergleich des erfassten in Frage kommenden Sackgassen- und Hindernismerkmalspunkts unter Verwendung der festliegenden Schablone für die Sackgassen- und Hinderniserfassung durch. Wenn der Mustervergleich der in Frage kommende Sackgassen- und Hindernismerkmalspunkt "1" mit dem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster übereinstimmt, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist, entscheidet die Sackgassen- und Hinderniserfassungssektion M108, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt ein linker Sackgassen- und Hindernismerkmalspunkt ist (Schritt S110).
Die Sackgassen- und Hinderniserfassungssektion M108 scannt die Pixel von der ersten Zeile bis zur m1-ten Zeile als der Sackgassen- und Hinderniserfassungs-Scannregion A103, jeweils eine Zeile auf einmal von der zentralen Position des Bildes in der Richtung nach rechts. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Sackgassen- und Hinderniserfassungssektion M108 das Pixel, dessen Binärzahl Schwarz "1" repräsentiert, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt unter den Pixeln von der ersten Zeile bis zur m1-ten Zeile. Die Sackgassen- und Hinderniserfassungssektion M108 führt einen Mustervergleich des erfassten in Frage kommenden Sackgassen- und Hindernismerkmalspunkts unter Verwendung der festliegenden Schablone für die Sackgassen- und Hinderniserfassung durch. Wenn bei dem Mustervergleich der in Frage kommende Sackgassen- und Hindernismerkmalspunkt "1" mit dem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist, übereinstimmt, entscheidet die Sackgassen- und Hinderniserfassungssektion M108, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt ein rechter Sackgassen- und Hindernismerkmalspunkt ist (Schritt S111).
Die Sackgassen- und Hinderniserfassungssektion M108 erzeugt die Sackgassen- und Hindernisinformation und gibt diese an das automatische Fahrsystem M200 aus (Schritt S116). Die Sackgassen- und Hindernisinformation, die anzeigt, ob der erzielte Sackgassen- und Hindernismerkmalspunkt (der rechte Sackgassen- und Hindernismerkmalspunkt und der linke Sackgassen- und Hindernismerkmalspunkt) an der rechten Seite zur mittleren Position des Bildes existiert oder auf der linken Seite existiert oder sowohl auf der rechten und linken Seite existiert oder weder auf der rechten noch auf der linken Seite existiert.
[Vergleich]
Es werden hier ein eingebautes Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung und ein Bezugsbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge (ein Fahrbahnmarkierungs-Erkennungsgerät und ein Fahrzeughindernis-Erfassungsgerät) verglichen.
[Vergleich 1]
In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung sind die Scannregionen, die jeweils irgendeiner der Arten von Merkmalspunkten auf der Straße zugewiesen sind (eine Fahrbahntrennlinie, eine Abzweigung, eine Sackgasse und ein Hindernis), für das Erfassen der Bilddaten (die Merkmalspunkt-Erfassungsbilddaten) gesetzt. Somit kann verglichen mit einem Fall, bei dem ein ganzes Bild für alle Arten von Merkmalspunkten gescannt wird, der Umfang des Scannvorgangs reduziert werden.
In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge gemäß einem Bezugsbeispiel (insbesondere einem Fahrbahnmarkierungs-Erkennungsgerät) wird als Vorgang zum Erfassen von Muster, wie beispielsweise einer Fahrbahnmarkierung, einer Abzweigung, einer Sackgasse und eines Hindernisses, die gesamte Region des Bildes gescannt, mit Durchführung des Mustervergleichs der abgetasteten Pixel und der festliegenden Schablonen, die jeweils den Muster entsprechen. In diesem Fall wird die gesamte Region gescannt, was zu dem Problem führt, dass das Maß der Vorgänge beim Durchführen des Scannen entsprechend der Ganzbildgröße des Bildes groß wird.
Andererseits ist in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung die gesamte Fläche der Erfassungsbilddaten in die Fahrbahntrennlinienerfassungs-Scannregion A101, die Abzweigungserfassungs-Scannregion A102 und die Sackgassen- und Hinderniserfassungs-Scannregion A103 unterteilt. Dann werden die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101, der Abzweigungserfassungs-Scannregion A102 und der Sackgassen- und Hinderniserfassungs-Scannregion A103 jeweils eine Zeile auf einmal von der Fahrbahntrennlinien-Erfassungssektion M106, der Abzweigungserfassungssektion M107 und der Sackgassen- und Hinderniserfassungssektion M108 gescannt. Auf diese Weise sind die Erfassungsbilddaten in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß dieser Ausführungsform in die Fahrbahntrennlinienerfassungs-Scannregion A101, die Abzweigungserfassungs-Scannregion A102 und die Sackgassen- und Hinderniserfassungs-Scannregion A103 unterteilt. Somit kann die Informationsmenge, die beim Scannen verarbeitet wird, reduziert werden.
Auch der Abstand zwischen dem Fahrzeug und dem Punkt entsprechend den m Zeilen und n Spaltenpixeln der Erfassungsbilddaten wird von der ersten Zeile bis zur m-ten Zeile in der genannten Reihenfolge kürzer. Es wird auch 1 < m1 < m2 < m angenommen. In diesem Fall entsprechen die Sackgassen- und Hinderniserfassungs-Scannregion A103, die Abzweigungserfassungs-Scannregion A102 und die Fahrbahntrennlinienerfassungs-Scannregion A101 den Pixeln von der ersten Zeile bis zur m1-ten Zeile, den Pixeln von der (m1 + 1)-ten Zeile bis zur m2-ten Zeile bzw. den Pixeln von der (m2 + 1)-ten Zeile bis zur m-ten Zeile unter den m Zeilen und n Spaltenpixeln der Erfassungsbilddaten. Folglich gibt es die folgenden Vorzüge.
Zunächst wird das Merkmal des Bildes (die Perspektive des Bildes, nämlich der Vordergrund erscheint groß, und der Hintergrund erscheint klein) dafür verwendet, die Scannregion auf der Grundlage des zu erfassenden Zielobjekts zu spezifizieren. Somit kann in der Scannregion der Einfluss von Rauschen unterdrückt werden, und das fehlerhafte Erfassen von Merkmalspunkten kann verringert werden.
Zweitens ist die Fahrbahntrennlinienerfassungs-Scannregion A101 im Vordergrund gesetzt (die untere Region des Bildes). Somit kann, selbst wenn das Fahrzeug stark von der Mitte einer Fahrbahn abweicht oder in einer Kurve fahrt, wenigstens ein Teil einer Fahrbahntrennlinie abgebildet werden. Daher ist es einfach, den Vorgang zum Berechnen der Fahrzeugposition durchzuführen.
Drittens wird die vom Fahrzeug entfernte Region gescannt, um die Sackgasse und ein Hindernis zu erfassen, sodass die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses früher als die Anwesenheit oder Abwesenheit einer Abzweigung erkannt werden kann. Wenn somit das automatische Fahrsystem M200 die Bewegung des Fahrzeugs in Antwort auf die erfassten Merkmalspunkte steuert, wird es einfach, die Entscheidung für das Steuern der Fahrzeugbewegung in Antwort auf die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses auszuführen.
Auf diese Weise kann in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge der vorliegenden Ausführungsform wegen der Anordnung der zugewiesenen Scannregionen der Einfluss von Rauschen unterdrückt werden, und das fehlerhafte Erfassen von Merkmalspunkten kann reduziert werden. Somit kann die bei dem Scannen verarbeitete Informationsmenge reduziert werden. Wenn beispielsweise die Scannregion als 1/3 des gesamten Bildes definiert ist, ist die zu verarbeitende Informationsmenge ebenfalls 1/3.
[Vergleich 2]
In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß dieser Ausführungsform wird für ein linksseitiges Pixel oder ein rechtsseitiges Pixel, das an einer Fahrbahntrennlinie positioniert, jedoch nicht erfasst ist, das Pixel, das in der Mitte der linken Halbregion oder rechten Halbregion positioniert ist, als der ergänzte Fahrbahntrennlinienmerkmalspunkt ergänzt. Somit kann die derzeit geschätzte Fahrzeugposition verglichen mit dem Fall, bei dem keine Ergänzung ausgeführt wird, an die wahre Fahrzeugposition angenähert werden.
In einem Referenzbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge, das keine Ergänzungsfunktion hat, werden, wenn ein Fahrzeug fährt, eine Fahrbahntrennlinie, die sich von unten links nach oben rechts, auf der linken Seite des Fahrzeugs gelegen, und eine andere, die sich von unten rechts nach oben links auf der rechten Seite des Fahrzeugs gelegen erstreckt, abgebildet. Die derzeitige Fahrzeugposition wird auf der Grundlage des Maßes der Anordnung zur Bildmitte in seitlicher Richtung erkannt, das in Übereinstimmung mit den Positionen der linken und rechten Fahrbahntrennlinien erzielt worden ist, die durch einen Mustervergleich eines Paars der Kante der rechten Fahrbahntrennlinie und der linken Fahrbahntrennlinie mit einer festliegenden Schablone berechnet worden sind. In dem Fall, bei dem die Fahrzeugposition stark von der Fahrbahn abweicht oder wenn das Fahrzeug in einer Kurve fährt, wird jedoch nur eine der rechten und linken Fahrbahntrennlinien abgebildet. Als Ergebnis wird eine Kantenpaar der linken und rechten Fahrbahntrennlinien bei dem Mustervergleich unter Verwendung der festliegenden Schablone nicht erfasst, sodass die Fahrzeugposition nicht berechnet werden kann.
Bei dem Bezugsbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge ohne Ergänzungsfunktion (insbesondere einem Fahrbahnmarkierungs-Erkennungsgerät) wird eine vorläufige Fahrbahntrennlinienposition auf der Grundlage der Position des Kantenpaars, zusammengesetzt aus der Oberkante und der Unterkante, definiert. Sofern jedoch nicht eine Extrapolierschaltung zum Erfassen eines Kantenpaars durch Scannen in der weiteren rechten und linken Richtung des Bildfeldes installiert ist, kann die Position der Fahrbahntrennlinien nicht erzielt werden. Bei einem automatischen Fahren macht dies den Betrieb unmöglich. Andererseits fährt die Installation einer Ergänzungsschaltung zu dem Problem, dass die Schaltungsgröße vergrößert wird.
Andererseits wird bei einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung ein Ergänzungsvorgang wie im Folgenden angegeben ausgeführt. Beim Scannen der Pixel auf der Fahrbahntrennlinienerfassungs-Scannregion A101, die jeweils eine Zeile auf einmal gescannt werden, wird angenommen, dass nur einer der linksseitigen und rechtsseitigen Fahrbahntrennlinienmerkmalspunkte erfasst wird und der andere nicht erfasst wird. Im Folgenden wird die linke oder rechte Regionhälfte, in der der andere Fahrbahntrennlinienmerkmalspunkt, der nicht erfasst ist, positioniert ist, als die Merkmalspunkt-Fehlregionhälfte bezeichnet. Die Merkmalspunkt-Fehlregionhälfte ist entweder die linke Regionhälfte, bestehend aus den Pixeln von der (n/2)-ten Spalte bis zur ersten Spalte oder die rechte Regionhälfte und die rechte Regionhälfte bestehend aus den Pixeln von der (n/2)-ten Spalte bis zur n-ten Spalte. In diesem Fall ist die mittlere Position in seitlicher Richtung in der Merkmalspunkt-Fehlregionhälfte als der ergänzte Fahrbahntrennlinienmerkmalspunkt der Regionhälfte definiert.
Dann wird die Position des Fahrzeugs auf der Straße in Übereinstimmung mit dem einen Fahrbahntrennlinienmerkmalspunkt in einer Regionhälfte und dem ergänzten Fahrbahntrennlinienmerkmalspunkt in der anderen Regionhälfte geschätzt. Auf diese Weise wird in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform in der Merkmalspunkt-Fehlregionhälfte der ergänzte Fahrbahntrennlinienmerkmalspunkt in der Merkmalspunkt-Fehlregionhälfte ergänzt. Als Ergebnis kann die Abweichung der geschätzten Fahrzeugposition von der wirklichen Fahrzeugposition reduziert werden. Daraus folgend gibt es die folgenden Vorteile.
Erstens wird, wie in der 7A gezeigt, für das Bild, bei dem eine Kante verloren ist, die Abweichung reduziert. Der Pfeil P1 zeigt an, dass in der Zeile in der Regionhälfte eine Kante erfasst ist. Der gestrichelte Pfeil P2 zeigt an, dass in der Zeile der Regionhälfte keine Kante erfasst ist. Der Kreis P3 zeigt die derzeitige Fahrzeugposition, berechnet aus den erfassten Kanten, an. Der schwarze Kreis P4 zeigt den derzeitigen Fahrzeugwert, grob geschätzt aus der erfassten Kante und einer Kante, die durch den Ergänzungsvorgang zum Ergänzen des fehlenden Fahrbahntrennlinienmerkmalspunkts erzielt worden ist.
Zweitens kann, wie in der 7B und der 7C gezeigt, selbst wenn ein Fahrzeug durch eine Kurve fahrt oder wenn ein Fahrzeug stark von der Mitte einer Fahrbahn abweicht, bei einem automatischen Fahren durch Berechnen der wirklichen Fahrzeugposition auf der Grundlage der ergänzten Kante das automatische Fahren auf einem Kurs näher an einem gewünschten Kurs erzielt werden.
Beispielsweise ist in der 7B ein Bild für den Fall gezeigt, dass das Fahrzeug in einer Kurve fährt. In der 7C ist ein Bild für den Fall gezeigt, dass das Fahrzeug stark von der Mitte einer Fahrbahn abweicht. In diesen Fällen ist das Fahrzeug an der rechten Seite der Fahrbahn positioniert, und es ist ein Fahren zum Steuern des Fahrzeugs in der Richtung nach links gewünscht. Wenn jedoch die vorstehend erläuterte Ergänzung nicht durchgeführt wird, wird die Fahrzeugposition als auf einer linken Seite der Fahrbahn befindlich beurteilt. Bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform ist es möglich, die Fahrzeugposition als in der rechten Region der Fahrbahn liegend zu beurteilen, obwohl gegenüber der wirklichen Fahrzeugposition eine geringe Abweichung vorhanden ist.
Auf diese Weise hat das eingebaute Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform einen breiten zulässigen Bereich für Rauschen, die Abweichung von der Fahrzeugposition und die Abweichung von der installierten Position der Kamera. Somit kann die Fahrzeugposition unter Verwendung einer Kantenerfassung auf der Grundlage einer festliegenden Schablone berechnet werden, ohne dass eine Extraschaltung oder ein Extravorgang zugefügt wird.
[Vergleich 3]
In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung kann die Anzahl der Schaltungen zum Erzielen eines Filterungsvorgangs für die Kantenerfassung reduziert werden. Somit kann die Schaltungsgröße reduziert werden.
In einem Referenzbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge (insbesondere eines Geräts zum Erfassen eines Hindernisses auf einer Fahrbahn) werden zwei Arten von eindimensionalen Filterungsvorgängen durchgeführt, nämlich der horizontale (seitliche) und der vertikale (longitudinale) Kantenerfassungs-Filterungsvorgang. Somit sind bei dieser Referenztechnik die Schaltung zum Erzielen von zwei Arten von eindimensionalen Filterungsvorgängen erforderlich, sodass das Problem besteht, dass die Schaltungsgröße vergrößert ist.
Bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung kann andererseits der Filterungsvorgang unter Verwendung von nur einem zweidimensionalen Filterungsvorgang erzielt werden. Das heißt, er kann erzielt werden, indem nur eine Schaltung zum Erzielen eines zweidimensionalen Filterungsvorgangs zugefügt wird. Somit kann die Schaltungsgröße verglichen mit dem Referenzbeispiel verringert werden.
In einer Ausführungsform der vorliegenden Erfindung kann der zweidimensionale Filterungsvorgang auch auf der Grundlage allein der Intensitäten der fokussierten Pixel und der umgebenden 8 Pixel durchgeführt werden. Um daher den zweidimensionalen Filterungsvorgang zu erzielen, ist es ausreichend, nur 3 Zeilen Puffer vorzubereiten, was die halbe Größe des Referenzbeispiels bedeutet. Wenn beispielsweise die Anzahl der Zeilenpuffer, die bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge erforderlich ist, 6 ist, ist die Anzahl der bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung eingebauten Zeilenpuffer gleich 3. Hierbei ist in einem Zeilenpuffer die Anzahl der notwendigen Flip-Flops entsprechend der Bildgröße (seitlichen Breite) in 1 Ganzbild erhöht. Somit führt dies im Fall einer Bildgröße von 1000·1000 [Pixel] pro 1 Ganzbild zu einer Verringerung von 3000 Flip-Flops.
Das bloße Reduzieren der Anzahl der Raumfilter-Verarbeitungsschaltungen kann zu einer Verminderung der Präzision der Bildverarbeitung führen. Gemäß dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung können jedoch die Kompensation einer fehlenden Kante und die Rauschreduktion gleichzeitig durchgeführt werden. Somit kann das Bild mit hoher Präzision erzielt werden, bei dem ein Fehlen einer Kante einer Fahrbahntrennlinie kompensiert ist und das Rauschen reduziert ist, sodass ein Merkmalspunkt auf der Straße erfasst werden kann, wobei fehlerhafte Operationen unterdrückt werden, ähnlich wie bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge.
Darüber hinaus wird bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge (insbesondere einem Gerät zum Erfassen eines Hindernisses auf einer Fahrbahn) nach der Durchführung von zwei Arten von eindimensionalen Filterungsvorgängen, nämlich dem horizontalen und dem vertikalen Kantenerfassungs-Filterungsvorgang, in Übereinstimmung mit dem Durchführungsergebnis eine schräge Linie durch einen Schräglinienkanten-Erfassungsvorgang in einer Hindernis-Beurteilungseinrichtung erfasst. Somit ist bei dem Referenzbeispiel eine Schaltung zum Erzielen von zwei Arten von eindimensionalen Filterungsvorgängen und der Schräglinien-Erfassungsvorgang erforderlich. Daher besteht das Problem, dass die Schaltung vergrößert ist.
Bei dem eingebauten Bildverarbeitungsgerät M10 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung andererseits ist der Schräglinienkanten-Erfassungsvorgang nicht erforderlich, und die Anzahl der Vorgänge und die Schaltungsgröße kann verringert werden.
[Wirkung]
Wie vorstehend angegeben, sind gemäß einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß den Ausführungsformen der vorliegenden Erfindung die Scannregionen, die den Arten von Merkmalspunkten (der Fahrbahntrennlinie, der Abzweigung, der Sackgasse und dem Hindernis) auf der Straße zugewiesen sind, für die Merkmalspunkt-Erfassungsbilddaten gesetzt. Somit kann die zu verarbeitende Informationsmenge bei Durchführen des Scannens reduziert werden.
In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung wird für das Pixel in der linken oder rechten Regionhälfte, in welcher der Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das zentrale Pixel der Regionhälfte als der ergänzte Fahrbahntrennlinienmerkmalspunkt ergänzt. Somit kann die laufend geschätzte Fahrzeugposition an die wirkliche Fahrzeugposition angenähert werden.
Gemäß einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung kann die Anzahl der Schaltungen zum Erzielen des Filterungsvorgangs für die Kantenerfassung reduziert werden, sodass die Schaltungsgröße reduziert sein kann.
Obwohl die vorliegende Erfindung vorstehend vollständig anhand mehrerer Ausführungsformen derselben beschrieben worden ist, ist es für den Fachmann klar zu ersehen, dass diese Ausführungsformen allein zur Illustrierung der vorliegenden Erfindung vorgesehen sind und nicht zur Begrenzung der anhängenden Patentansprüche dienen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- JP 2003-308534 A [0007]
- JP 2712809 [0008]

Claims

Eingebautes Bildverarbeitungsgerät (M100) für Fahrzeuge mit: einem Bildaufnahmegerät (M101), das so gestaltet ist, dass es Bilddaten erzeugen kann, indem ein Bild einer Frontsicht aus dem Fahrzeug aufgenommen wird; einer Kantenerfassungssektion (M104), die so gestaltet ist, dass sie auf der Grundlage der Bilddaten Erfassungsbilddaten erzeugen kann, die Pixel von m Zeilen und n Spalten (m und n sind ganze Zahlen größer als 2) enthalten; und einer Merkmalspunkt-Erfassungssektion (M111), die so gestaltet ist, dass sie wenigstens einen Merkmalspunkt auf der Grundlage der Erfassungsbilddaten erfassen kann und den wenigstens einen Merkmalspunkt an ein Ausgabegerät (M200) ausgibt, wobei die Merkmalspunkt-Erfassungssektion (M111) den wenigstens einen Merkmalspunkt kategorisiert als einen Fahrbahntrennlinienmerkmalspunkt, der einen Punkt auf einer Fahrbahntrennlinie anzeigt, einen Abzweigungsmerkmalspunkt, der eine Abzweigung einer Fahrbahn anzeigt, und einen Sackgassen- und Hindernismerkmalspunkt, der eine Sackgasse einer Fahrbahn oder ein Hindernis auf einer Fahrbahn anzeigt, wobei die Erfassungsbilddaten eine Fahrbahntrennlinienerfassungs-Scannregion (A101), die für das Erfassen des Fahrbahntrennlinienmerkmalspunkts gesetzt ist, eine Abzweigungserfassungs-Scannregion (A102), die für das Erfassen des Abzweigungsmerkmalspunkts eingestellt ist, und eine Sackgassen- und Hindemiserfassungs-Scannregion (A103), die für das Erfassen des Sackgassen- und Hindernismerkmalspunkts eingestellt ist, umfassen, wobei ein Abstand zwischen einem Fahrzeug, das das Bildaufnahmegerät trägt, und einer Position auf einer Fahrbahn entsprechend einem Pixel in den Erfassungsbilddaten von einer ersten Zeile bis zu einer m-ten Zeile der Erfassungsbilddaten kürzer wird, und die Sackgassen- und Hindemiserfassungs-Scannregion (A103) in Pixeln, positioniert von der ersten Zeile bis zur m1-ten Zeile der Erfassungsbilddaten eingestellt ist, die Abzweigungserfassungs-Scannregion (A102) in den Pixeln, positioniert von der m1-ten Zeile bis zu der m2-ten Zeile der Erfassungsbilddaten eingestellt ist und die Fahrbahntrennlinienerfassungs-Scannregion (A101) in Pixeln, die von der m2-ten Zeile bis zur m-ten Zeile der Erfassungsbilddaten positioniert sind, eingestellt ist, wobei gilt 1 < m1 < m2 < m.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach Anspruch 1, wobei die Merkmalspunkt-Erfassungssektion (M111) aufweist: eine Fahrbahntrennlinien-Erfassungssektion (M106), die so gestaltet ist, dass sie die Fahrbahntrennlinie durch Scannen der Fahrbahntrennlinienerfassungs-Scannregion (A101) erfasst; eine Abzweigungserfassungssektion (M107), die so gestaltet ist, dass sie den Abzweigungsmerkmalspunkt durch Scannen der Abzweigungserfassungs-Scannregion (A102) erfasst; und eine Sackgassen- und Hinderniserfassungssektion (M108), die so gestaltet ist, dass sie den Sackgassen- und Hindernismerkmalspunkt durch Scannen der Sackgassen- und Hinderniserfassungs-Scannregion (A103) erfasst.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach Anspruch 2, wobei die Fahrbahntrennlinien-Erfassungssektion (M106) so gestaltet ist, dass sie den Fahrbahntrennlinienmerkmalspunkt, der in einer linken Region der Erfassungsbilddaten positioniert ist, als einen linksseitigen Fahrbahntrennlinienmerkmalspunkt beurteilt und den Fahrbahntrennlinienmerkmalspunkt, der in einer rechten Region der Erfassungsbilddaten positioniert ist, als einen rechtsseitigen Fahrbahntrennlinienmerkmalspunkt beurteilt, und die Merkmalspunkt-Erfassungssektion (M111) weiterhin aufweist: eine Fahrzeugpositions-Schätzsektion (M109), die so gestaltet ist, dass sie eine Position eines Fahrzeugs, welches das Bildaufnahmegerät trägt, auf der Grundlage des linksseitigen Fahrbahntrennlinienmerkmalspunkts und des rechtsseitigen Fahrbahntrennlinienmerkmalspunkts schätzt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach Anspruch 3, wobei die Fahrbahntrennlinien-Erfassungssektion (M106) so konfiguriert ist, dass sie Pixel in der Fahrbahntrennlinienerfassungs-Scannregion jeweils eine Zeile auf einmal scannt, und bei Erfassen eines linksseitigen Fahrbahntrennlinienmerkmalspunkts oder rechtsseitigen Fahrbahntrennlinienmerkmalspunkts auf einer gewissen Zeile und Nichterfassen des anderen einen, des linksseitigen Fahrbahntrennlinienmerkmalspunkts und rechtsseitigen Fahrbahntrennlinienmerkmalspunkts auf der gewissen Zeile, eine linke oder rechte Regionhälfte, in welcher der Fahrbahntrennlinienmerkmalspunkt nicht erfasst ist, als eine Merkmalspunkt-Fehlregionhälfte definiert, und einen ergänzten Fahrbahntrennlinienmerkmalspunkt erzeugt, der in der Mitte der Merkmalspunkt-Fehlregionhälfte in der Abtastrichtung positioniert ist, und die Fahrzeugposition-Schätzsektion (M109) so konfiguriert ist, dass sie eine Position (P4) eines Fahrzeugs, das das Bildaufnahmegerät trägt, auf der Grundlage des linksseitigen oder rechtsseitigen Fahrbahntrennlinienmerkmalspunkts, der in einer bestimmten Zeile erfasst worden ist, und des ergänzten Fahrbahntrennlinienmerkmalspunkts schätzt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 1 bis 4, wobei die Kantenerfassungssektion so konfiguriert ist, dass sie: einen gewichteten Mittelwert einer Intensität eines fokussierten Pixels und der Intensitäten der umgebenden Pixel, welche fokussierte Pixel umgeben, berechnet, indem jedes der Pixel der m Zeilen und n Spalten als das fokussierte Pixel genommen wird; eine zweidimensionale Filterung durchführt, indem gefilterte Bilddaten erzeugt werden, die gefilterte Pixel enthalten, wobei jedes der gefilterten Pixel eine Intensität hat, die auf der Grundlage des gewichteten Mittelwerts bestimmt worden ist; und gefilterte Bilddaten in Binärform erzeugt, indem jedes der Pixel in den gefilterten Bilddaten unter Verwendung eines Schwellwertintensitätswerts in die Binärform gebracht wird.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach Anspruch 5, wobei die Kantenerfassungssektion (M104) so gestaltet ist, dass sie die zweidimensionale Filterung unter Verwendung eines Glättungsfilters, bei dem die Intensität des fokussierten Pixels und die Intensitäten der umgebenden Pixel gleich sind, oder eines Laplace-Filters durchführt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach Anspruch 5 oder 6, wobei jedes der Pixel in den in die Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Fahrbahntrennlinien-Erfassungssektion (M106) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt der Fahrbahntrennlinienmerkmalspunkt ist, wenn der in Frage kommende Fahrbahntrennlinienmerkmalspunkt mit einem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster übereinstimmt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 5 bis 7, wobei jedes der Pixel in den in Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Abzweigungserfassungssektion (M107) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Abzweigungsmerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Abzweigungsmerkmalspunkt der Abzweigungsmerkmalspunkt ist, wenn der in Frage kommende Abzweigungsmerkmalspunkt mit einem vorab gesetzten Abzweigungs-Merkmalspunktmuster übereinstimmt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 5 bis 8, wobei jedes der Pixel in dem in die Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Sackgassen- und Hinderniserfassungssektion (M108) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt der Sackgassen- und Hindernismerkmalspunkt ist, wenn der in Frage kommende Sackgassen- und Hindernismerkmalspunkt mit einem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster übereinstimmt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 5 bis 9, wobei jedes der Pixel der in die Binärform gebrachten gefilterten Bilddaten einen Binärwert von 0 oder 1 hat und das eingebaute Bildverarbeitungsgerät für Fahrzeuge ferner eine Kantenkorrektur- und Rauschreduktionssektion (M105) aufweist, die so gestaltet ist, dass sie: Wert-0-Pixel, die den Binärwert 0 haben, und Wert-1-Pixel, die den Binärwert 1 haben, unter einem fokussierten Binärpixel und umgebenden Binärpixeln, welche das fokussierte Binärpixel umgeben, zählt, indem jedes der Pixel der in die Binärform gebrachten gefilterten Bilddaten als ein fokussiertes Binärpixel genommen wird; Merkmalspunkt-Erfassungsbilddaten erzeugt, indem ein Kantenkorrektur- und Rauschreduktionsvorgang durchgeführt wird, bei dem der Binärwert durch einen neuen Binärwert ersetzt wird, wobei der neue Binärwert durch ein Verhältnis der gezählten Anzahl von Wert-0-Pixel zu der gezählten Anzahl von Wert-1-Pixeln und eine vorbestimmte Bedingung der Anordnung der Wert-0-Pixel und der Wert-1-Pixel der umgebenden Binärpixel für jedes fokussierte Binärpixel bestimmt ist; und die Merkmalspunkt-Erfassungsbilddaten an die Merkmalspunkt-Erfassungssektion (M111) als die Erfassungsbilddaten ausgibt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 1 bis 10, weiterhin mit: einem Speicher (M103) und einem A/D-Wandler (M102), der so konfiguriert ist, dass er die durch das Bildaufnahmegerät (M101) erzeugten Bilddaten, die analoge Daten sind, in digitale Daten umwandelt und die digitalen Daten in dem Speicher speichert, wobei die Kantenerfassungssektion (M104) so konfiguriert ist, dass sie aus den im Speicher gespeicherten digitalen Daten die Erfassungsbilddaten erzeugt.
Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der Ansprüche 1 bis 11, wobei das Ausgabegerät (M200) ein automatisches Fahrsystem ist, um die Bewegung eines Fahrzeugs, welches das Bildaufnahmegerät trägt, in Antwort auf den wenigstens einen Merkmalspunkt zu steuern.
Bildverarbeitungsgerät mit: einer Kantenerfassungssektion (M104), die so konfiguriert ist, dass sie Erfassungsbilddaten, die Pixel in m Zeilen und n Spalten (m und n sind ganze Zahlen größer als 2) erzeugt, indem an Bilddaten, die eine Frontsicht aus einem Fahrzeug sind, eine Bildverarbeitung ausgeführt wird; einer Merkmalspunkt-Erfassungssektion (M111), die so konfiguriert ist, dass sie wenigstens einen Merkmalspunkt auf der Grundlage der Erfassungsbilddaten erfasst und den wenigstens einen Merkmalspunkt an ein Ausgabegerät (M200) ausgibt, wobei die Merkmalspunkt-Erfassungssektion (M111) den wenigstens einen Merkmalspunkt kategorisiert als einen Fahrbahntrennlinienmerkmalspunkt, der einen Punkt auf einer Fahrbahntrennlinie anzeigt, einen Abzweigungsmerkmalspunkt, der eine Abzweigung einer Fahrbahn anzeigt, und einen Sackgassen- und Hindernismerkmalspunkt, der eine Sackgasse einer Fahrbahn oder ein Hindernis auf der Fahrbahn anzeigt, wobei die Erfassungsbilddaten eine Fahrbahntrennlinienerfassungs-Scannregion (A101), die für das Erfassen des Fahrbahntrennlinienmerkmalspunkts eingestellt ist, eine Abzweigungserfassungs-Scannregion (A102), die für das Erfassen des Abzweigungsmerkmalspunkts eingestellt ist, und eine Sackgassen- und Hinderniserfassungs-Scannregion (A103), die für das Erfassen des Sackgassen- und Hindernismerkmalspunkts eingestellt ist, aufweist, der Abstand zwischen einem Fahrzeug, das das Bildaufnahmegerät trägt, und einer Position auf einer Fahrbahn entsprechend einem Pixel in den Erfassungsbilddaten von der ersten Zeile bis zur m-ten Zeile der Erfassungsbilddaten kürzer wird, und die Sackgassen- und Hinderniserfassungs-Scannregion (A103) in Pixeln eingestellt ist, die von der ersten Zeile bis zur m1-ten Zeile der Erfassungsbilddaten positioniert sind, die Abzweigungserfassungs-Scannregion (A102) in den Pixeln eingestellt ist, die von der m1-ten Zeile bis zur m2-ten Zeile der Erfassungsbilddaten positioniert sind, und die Fahrbahntrennlinienerfassungs-Scannregion (A101) in Pixeln eingestellt ist, die von der m2-ten Zeile bis zur m-ten Zeile der Erfassungsbilddaten positioniert sind, wobei gilt 1 < m1 < m1 < m.