DE102008034304B4 - Bildverarbeitungsgerät - Google Patents
Bildverarbeitungsgerät Download PDFInfo
- Publication number
- DE102008034304B4 DE102008034304B4 DE102008034304.8A DE102008034304A DE102008034304B4 DE 102008034304 B4 DE102008034304 B4 DE 102008034304B4 DE 102008034304 A DE102008034304 A DE 102008034304A DE 102008034304 B4 DE102008034304 B4 DE 102008034304B4
- Authority
- DE
- Germany
- Prior art keywords
- feature point
- lane
- detection
- line
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 184
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012907 on board imaging Methods 0.000 claims 6
- 238000000034 method Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 34
- 239000011159 matrix material Substances 0.000 description 7
- 239000000872 buffer Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
- 1. Erfindungsgebiet
- Die vorliegende Erfindung betrifft ein Bildverarbeitungsgerät, das so gestaltet ist, dass es ein Bild eines Blicks nach vorne aus einem Fahrzeug aufnimmt.
- 2. Beschreibung des Standes der Technik
- Es sind Bildverarbeitungsgeräte entwickelt worden, die in Fahrzeugen installiert sind. Solche Geräte können bei automatischen Fahrtechniken angewandt werden. Für ein bildverarbeitendes Gerät sind die folgenden drei Charakteristika erforderlich.
- Um die Fahrbahn, auf der das Fahrzeug fährt, zu erkennen, ist es erstens notwendig, ein Bild von der Frontsicht aus dem Fahrzeug durch eine Kamera, wie beispielsweise den CCD-(ladungsgekoppelte Vorrichtung)- oder den CMOS-(Komplementär-Metalloxidhalbleiter)-Bildsensor aufzunehmen und eine Verarbeitung des Bildes in Echtzeit durchzuführen.
- Zweitens ist für das sichere Fahren ein korrektes Erkennen der Fahrbahn erforderlich. Daher ist es erforderlich, dass die eingegebenen Bilddaten der Fahrbahn ein Merkmal haben, das bei der Bilderkennung einen geringeren Fehler hervorbringt.
- Drittens ist es erforderlich, aus dem Bild der Frontsicht Information über die Kanten der Fahrbahnmarkierung zu extrahieren, die auf der Oberfläche der Fahrbahn aufgemalt ist. In einer derartigen Information ist beispielsweise die Position einer Fahrbahntrennlinie auf der Fahrbahnoberfläche, die Anwesenheit oder Abwesenheit einer Abzweigung der Fahrbahn oder die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses repräsentiert.
- Es werden einige Beispiele von Bildverarbeitungsgeräten für Fahrzeuge vorgestellt.
- Die offengelegte japanische Patentanmeldung
JP 2003 - 308 534 A - Die japanische Patentveröffentlichung
JP 2 712 809 B2 - ZUSAMMENFASSUNG
- In den vorstehend ausgeführten Bildverarbeitungsgeräten für Fahrzeuge (insbesondere Weiße-Linien-Erkennungsgeräte) sind für das Erfassen der Fahrbahntrennlinie, der Abzweigung, der Sackgasse und des Hindernisses festliegende Muster zum Erfassen derselben vorbereitet, und der gesamte Bereich des Bildes wird zum Überprüfen der Übereinstimmung des Bildes mit den Mustern gescannt. Da in diesem Fall der gesamte Bereich gescannt wird, besteht das Problem, dass die Anzahl der Verarbeitungsschritte des Scannens entsprechend der Ganzbildgröße des Bildes groß wird.
- Eine Aufgabe der vorliegenden Erfindung ist es deshalb, vor dem Hintergrund der voranstehend genannten Probleme ein verbessertes Bildverarbeitungsgerät bereitzustellen, bei dem insbesondere die Anzahl der Verarbeitungsschritte vermindert werden kann.
- Gemäß der vorliegenden Erfindung wird ein Bildverarbeitungsgerät gemäß dem Hauptanspruch offenbart. Des Weiteren wird ein eingebautes Bildverarbeitungsgerät für Fahrzeuge gemäß Anspruch 2 offenbart.
- Wie vorstehend angegeben, ist in einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung jedem der Merkmalspunkte (einer Fahrbahntrennlinie, einer Abzweigung, einer Sackgasse oder einem Hindernis) der Straße eine Scannregion zugewiesen, die für Erfassungsbilddaten (Bilddaten zur Erfassung von Merkmalspunkten) gesetzt ist. Somit kann die Anzahl der Schritte des Bildscannvorgangs reduziert werden.
- In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung wird die Eigenschaft des Bildes, nämlich die Perspektive, bei der der Vordergrund groß und der Hintergrund klein erscheint, zum Bestimmen der jeweiligen Scannregionen entsprechend den Arten der auf einer Straße zu erfassenden Ziele bestimmt. Somit ist es möglich, den Einfluss von Rauschen in dem Scannbereich zu reduzieren, sodass es möglich ist, Fehler bei dem Erfassen der Merkmalspunkte auf der Straße zu reduzieren.
- In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung ist auch eine Fahrbahntrennlinienerfassungs-Scannregion (A101) im Vordergrund (der unteren Seite der Bildregion) gesetzt. Selbst wenn die Fahrzeugposition von der Fahrbahn abweicht oder wenn das Fahrzeug durch eine Kurve fährt, kann somit die Fahrbahntrennlinie wenigstens teilweise abgebildet werden. Daher wird es selbst in solchen Fällen einfach, den Vorgang zum Berechnen der Fahrzeugposition durchzuführen.
- In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge (M100) gemäß einer Ausführungsform der vorliegenden Erfindung ist auch der Hintergrund in dem Bild als die Sackgassen- und Hinderniserfassungs-Scannregion gesetzt. Daher kann das Vorhandensein oder die Abwesenheit einer Sackgasse oder eines Hindernisses früher als das Erfassen der Abzweigung erfasst werden. Somit wird es einfach, die Entscheidung, wie beispielsweise eine Geschwindigkeitssteuerung, eine Richtungssteuerung und dergleichen durchzuführen, wenn das Ausgabegerät (M200) das Fahren des Fahrzeugs steuert.
- Figurenliste
- Die vorstehenden und weitere Aufgaben, Vorteile und Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung gewisser bevorzugter Ausführungsformen anhand der begleitenden Zeichnungen im Einzelnen hervor, in welchen zeigt:
-
1 eine Konfiguration eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge; -
2A ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
2B ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
2C ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
2D ein Flussdiagramm, das die Funktionsweise eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
3A eine Ansicht eines zweidimensionalen Raumfilters (Glättungsfilter), das bei einer Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge verwendet wird; -
3B eine Ansicht eines zweidimensionalen Raumfilters (Laplace-Glättungsfilter), das bei einer Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge verwendet wird; -
4A eine Ansicht, die das Erfassen eines Fahrbahntrennlinienmerkmalspunkts als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
4B eine Ansicht, die das Erfassen eines Fahrbahntrennlinienmerkmalspunkts als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge zeigt; -
5 eine Ansicht, die eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge beschreibt, die eine Fahrbahntrennlinienerfassungs-Scannregion A101, eine Abzweigungserfassungs-Scannregion A102 und eine Sackgassen- und Hinderniserfassungs-Scannregion A103 von Merkmalspunkt-Erfassungsbilddaten zeigt; -
6 eine Ansicht, die das Berechnen einer laufenden Fahrzeugposition als eine Operation eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge beschreibt; -
7A eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird; -
7B eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird; und -
7C eine Ansicht, die eine Wirkung beschreibt, wenn der Schritt S112 durchgeführt wird. - BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
- Im Folgenden wird ein eingebautes Bildverarbeitungsgerät für Fahrzeuge gemäß der Ausführungsformen der vorliegenden Erfindung anhand der anhängenden Zeichnungen beschrieben.
- [Konfiguration]
-
1 zeigt eine Konfiguration eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge M100 gemäß einer Ausführungsform der vorliegenden Erfindung. Das eingebaute Bildverarbeitungsgerät für Fahrzeuge M100 ist in einem Fahrzeug zusammen mit der anderen Ausrüstung unter Verwendung des Ergebnisses der Bildverarbeitung wie einem automatischen Fahrsystem M200 installiert. Das eingebaute Bildverarbeitungsgerät für Fahrzeuge enthält ein Abbildungsgerät M101, einen Analog-Digital-(A/D)-Wandler M102 und ein Bildverarbeitungsgerät M110. - Das Abbildungsgerät M101 hat eine Kamera, wie beispielsweise eine CCD oder einen CMOS-Bildsensor, und ist in der Blickrichtung nach vorne eingestellt. Der A/D-Wandler M102 ist mit dem Abbildungsgerät M101 und dem Bildverarbeitungsgerät M110 verbunden. Das Bildverarbeitungsgerät M110 ist ein Computer und ist durch eine Hardware, beispielsweise eine Elektronikschaltung, und eine Software, beispielsweise ein Computerprogramm, realisiert.
- Das Bildverarbeitungsgerät M110 enthält einen Speicher M103, eine Kantenerfassungssektion M104, eine Kantenkorrektur- und Rauschreduktionssektion M105 und eine Merkmalspunkt-Erfassungssektion M111. Die Merkmalspunkt-Erfassungssektion M111 enthält eine Fahrbahntrennlinien-Erfassungssektion M106, eine Abzweigungserfassungssektion M 107, eine Sackgassen- und Hinderniserfassungssektion M108 und eine Fahrzeugpositions-Schätzsektion M109. Der Speicher M103 ist mit dem A/D-Wandler M102 und der Kantenerfassungssektion M104 verbunden. Die Kantenerfassungssektion M104 ist mit der Kantenkorrektur- und Rauschreduktionssektion M105 verbunden. Die Kantenkorrektur- und Rauschreduktionssektion M105 ist mit der Fahrbahntrennlinien-Erfassungssektion M106, der Abzweigungserfassungssektion M107 und der Sackgassen- und Hinderniserfassungssektion M108 verbunden. Die Fahrbahntrennlinien-Erfassungssektion M106 ist mit der Fahrzeugpositions-Schätzsektion M109 verbunden. Die Fahrzeugpositions-Schätzsektion M109, die Abzweigungserfassungssektion M107 und die Sackgassen- und Hinderniserfassungssektion M108 sind mit einem Ausgabegerät wie beispielsweise einem automatischen Fahrsystem M200 verbunden.
- [Funktionsweise]
- Die
2A bis2D sind Flussdiagramme, die die Funktionsweisen des in der1 gezeigten eingebauten Bildverarbeitungsgeräts M100 für Fahrzeuge zeigen. - Das Abbildungsgerät M101 nimmt ein Bild des Blicks nach vorne aus dem Fahrzeug auf eine Straße unter Verwendung einer Kamera auf und erzeugt analoge Bilddaten, die das Bild vor dem Fahrzeug aus dem Fahrzeug gesehen repräsentieren. Der A/D-Wandler M102 führt eine Analog/Digital-Wandlung an den analogen Bilddaten durch, um digitale Bilddaten zu erzeugen und speichert die digitalen Bilddaten in dem Speicher M103 (Schritt S101). Diese digitalen Bilddaten enthalten Pixeldaten entsprechend den Pixeln, die in einer Matrix von m Zeilen und n Spalten angeordnet sind, die den Blick aus dem Fahrzeug nach vorne repräsentieren. Hierbei sind m und n ganze Zahlen von 3 oder größer.
- Die Kantenerfassungssektion M104 erzeugt zweidimensional gefilterte Bilddaten mittels Durchführen eines zweidimensionalen Filterungsvorgangs an den m Zeilen- und n Spaltenpixeln der in dem Speicher M103 gespeicherten digitalen Bilddaten.
- In dem „zweidimensionalen Raumfilter“ wird der Filterungsvorgang an einem fokussierten Pixel auf der Grundlage der Information eines gewissen zweidimensionalen Bereichs, der das fokussierte Pixel auf dem Bild umgibt, durchgeführt. In dieser Ausführungsform ist in dem zweidimensionalen Filterungsvorgang ein Quadrat oder ein Rechteck, welches einen Bereich umgibt (Umfang) für jedes der Pixel g(i, j) gesetzt. Dann wird für jedes der Pixel in dem umgebenden Bereich für jedes der Pixel eine Gewichtung vorab gesetzt. Der gewichtete Mittelwert der Intensität des umgebenden Bereichs wird für jedes der Pixel in den gesamten Bildern als die gefilterte (erneut berechnete oder der Mittelwert) Intensität des mittleren Pixels f(i, j) berechnet. Für den Fall, dass beispielsweise der umgebende Bereich auf einen 3 × 3-Quadratbereich gesetzt ist, wird die mittlere Intensität f(i, j) durch die Mittelwertbildung der Intensitäten der 9 Pixel g(i-1, j-1), g(i, j-1), g(i+1, j-1), g(i-1, j), g(i, j), g(i+1, j), g(i-1, j+1), g(i, j+1) und g(i+1, j+1) mit ihren jeweiligen Gewichtungen berechnet. Wenn das Bild ein Farbbild ist, wird diese Mittelwertbildung für jede der Farbkomponenten der Pixel für jede der m Zeilen und n Spalten von Pixeln der digitalen Bilddaten durchgeführt.
-
-
- Durch Setzen verschiedener Gewichtungen in der Raumfilterkoeffizientenmatrix M (i, j) können verschiedene Arten von Filterung erzielt werden. Als solche zweidimensionale Filterungsvorgänge werden beispielsweise Glättungsfiltervorgänge (Schritt S 102) und der Laplace-Filterungsvorgang (auch als Laplace-Glättungsfiltervorgang bezeichnet) (Schritt S103), bei dem beispielsweise die 3 × 3-Maskenfilter, die in den
3A ,3B gezeigt sind, jeweils verwendet. - Zunächst wird in dem Glättungsfiltervorgang (auch als einfacher Glättungsfiltervorgang bezeichnet) die mittlere Intensität f(i, j) berechnet durch: f(i, j) = f 1 × g(i-1, j-1) + 1 × g(i, j-1) + 1 × g(i+1, j-1) + 1 × g(i-1, j) + 1 × g(i, j) + 1 × g(i+1, j) + 1 × g(i-1, j+1) + 1 × g(i, j+1) + 1 × g(i+1, j+1)} / 9.
-
- Als Nächstes bestimmt der Laplace-Filterungsvorgang die Differenz zwischen der Intensität f (i, j), repräsentiert durch das fokussierte Pixel g (i, j), und den Intensitäten f (i-1, j-1), f (i, j-1), f (i+1, j-1), f (i-1, j), f (i+1, j), f (i-1, j+1), f (i, j+1) und f (i+1, j+1), die durch die 8 umgebenden Pixel g (i-1, j-1), g (i, j-1), g (i+1, j-1), g (i-1, j), g (i+1, j), g (i-1, j+1), g (i, j+1) bzw. g (i+1, j+1) repräsentiert sind, welche die Pixel um das fokussierte Pixel sind. Zu diesem Zeitpunkt wird die Raumfilterkoeffizientenmatrix M (i, j) durch die Gleichung (4) repräsentiert.
- Die Kantenerfassungssektion M104 führt einen Binarisierungsvorgang an den m Zeilen- und den n Spaltenpixeln der zweidimensional gefilterten Bilddaten durch, um in die Binärform gebrachte Bilddaten zu erzeugen (Schritt S104).
- In diesem Binarisierungsvorgang wird der erste Wert und der zweite Wert, beispielsweise „1" und „0“, der eine binäre Ziffer bildet, gesetzt. Es wird „1" oder „0“ gesetzt, um die binäre Zahl entsprechend Schwarz anzuzeigen, wenn die berechnete Intensität jeder der m Zeilen- und n Spaltenpixel der zweidimensional gefilterten Bilddaten unter einem vorbestimmten Schwellwert ist, und es wird der andere Wert von „1“ oder „0“ gesetzt, um die binäre Zahl entsprechend Weiß anzuzeigen, wenn die berechnete Intensität jedes derselben oberhalb des vorbestimmten Schwellwerts ist. Als Ergebnis werden die in binäre Form gebrachten Bilddaten, zusammengesetzt aus Pixeln, die jeweils entweder den Wert „1“ oder „0“ haben, erzeugt. Die Kantenerfassungssektion M104 gibt die in die Binärform gebrachten Bilddaten an die Kantenkorrektur- und Rauschreduktionssektion M105 als Rauscherfassungsbilddaten.
- Die Kantenkorrektur- und Rauschreduktionssektion M105 erzeugt Merkmalpunkt-Erfassungsbilddaten, indem sie eine Kantenkorrektur und eine Rauschreduktion an den m Zeilen- und n Spaltenpixeln der Rauscherfassungsbilddaten durchführt (Schritt S105).
- In diesem Kantenkorrektur- und Rauschreduktionsvorgang wird jede der Anzahl von Binärzahlen „0“ und „1", die durch die umgebenden Pixel um das fokussierte Pixel repräsentiert ist, für jede der m Zeilen- und n Spaltenpixel der Rauscherfassungsbilddaten gezählt. Und dann wird die Binärzahl jedes der Pixel durch eine neue Binärzahl in Übereinstimmung mit der Zahl, die durch Zählen von „0“ und „1“ um das Pixel, das Verhältnis von der Anzahl von „0“-Pixeln zu „1“-Pixeln und das Übereinstimmungsergebnis der Anordnung der „0“- und „1"-Pixel mit dem vorab gesetzten Muster erzielt worden ist, ausgetauscht. Dieser Vorgang wird an allen Pixeln durchgeführt.
- Was einen solchen Zustand betrifft, können die folgenden drei Punkte veranschaulicht werden.
- Zustand 1: Wenn die Binärzahl, welche durch das fokussierte Pixel repräsentiert ist, Schwarz „1“ ist und wenn 4 Pixel oder mehr unter den umgebenden Pixeln die Binärzahl haben, welche Weiß „0“ repräsentiert, wird die Binärzahl, welche von dem fokussierten Pixel repräsentiert ist, von Schwarz „1“ in Weiß „0“ geändert.
- Zustand 2: Wenn die Binärzahl, welche von dem fokussierten Pixel repräsentiert ist, Weiß „0“ oder Schwarz „1“ ist und wenn ein, zwei oder drei Pixel von den umgebenden Pixeln die Binärzahl haben, welche Weiß „0“ repräsentiert, wird die Binärzahl des fokussierten Pixels auf dem aktuellen Wert gehalten.
- Zustand 3: Wenn die Binärzahl, welche durch das fokussierte Pixel repräsentiert wird, Weiß „0“ oder Schwarz „1“ ist und wenn alle umgebenden Pixel die Schwarz repräsentierende Binärzahl „1“ haben, wird die durch das fokussierte Pixel repräsentierte Binärzahl durch Schwarz „1“ ersetzt.
- Der vorstehende Zustand ist ein Beispiel, und es können andere Arten von Zuständen für den Kantenkorrektur- und Rauschreduktionsvorgang verwendet werden.
- Bezüglich der Merkmalspunkt-Erfassungsbilddaten, die durch die Vorgänge in den Schritten S102 bis S105 erzielt werden, wird verglichen mit den digitalen Bilddaten, die im Schritt S101 erzielt werden deren Kontrast verstärkt und das Rauschen unterdrückt. Da der Kontrast verstärkt ist, ist die Kante verstärkt, was es ermöglicht, dass der Merkmalspunkt auf der Straße leicht zu extrahieren ist. Die Kantenkorrektur- und Rauschreduktionssektion M105 gibt die Merkmalspunkt-Erfassungsbilddaten an die Merkmalspunkt-Erfassungssektion M111 aus.
- Die Merkmalspunkt-Erfassungssektion M111 scannt m Zeilen und n Spaltenpixel der Merkmalspunkt-Erfassungsbilddaten jeweils eine Zeile auf einmal als Scannzeile und erfasst die Pixel, die die Binärzahl „1“ haben, welche Schwarz repräsentieren, aus den m Zeilen und n Spalten der Pixel und erfasst Merkmalspunkte der Fahrbahn in Übereinstimmung mit den Pixeln, welche Schwarz „1“ repräsentieren. In dem Fall einer weißen Linie beispielsweise wie in der
4A gezeigt repräsentiert das Pixel, welches unter den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten Schwarz „1“ repräsentiert, eine weiße Linie. - Der Merkmalspunkt ist in einer Anzahl von Arten kategorisiert, die veranschaulicht sind durch: einen Fahrbahntrennlinienmerkmalspunkt, der eine Linie repräsentiert, die auf eine Straßenoberfläche gemalt ist, um benachbarte Fahrspuren zu trennen, typischerweise eine weiße Linie; einen Abzweigungsmerkmalspunkt, der eine Abzweigung von der Straße repräsentiert; und einen Sackgassen- und Hindernismerkmalspunkt, der repräsentiert, dass die Straße in eine Sackgasse führt oder die Straße durch ein Hindernis blockiert ist.
- Bei der Erläuterung der Ausführungsformen der vorliegenden Erfindung können anstatt der Fahrbahntrennlinie, die typischerweise eine weiße Linie ist, andere Arten von Fahrbahnmarkierungen auf die gleiche Weise verarbeitet werden. Solche Fahrbahnmarkierungen umfassen eine gelbe Linie, die repräsentieren, dass die Fahrzeugspur eine Überholverbotszone ist, und Zeichen, die eine Verkehrsregel repräsentieren, wie beispielsweise eine zulässige Geschwindigkeit, eine Wegrichtung und dergleichen.
- Die Merkmalspunkt-Erfassungssektion M111 scannt die m Zeilen und n Spaltenpixel der Merkmalspunkt-Erfassungsbilddaten jeweils eine Zeile auf einmal ab. Bei diesem Vorgang werden die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte in der genannten Reihenfolge gescannt, und umgekehrt werden die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte in dieser Reihenfolge abgescannt, wie dies in den
4A und4B gezeigt ist. Entlang diesem Scannweg wird, wenn der Binärwert des gescannten Pixels sich von Weiß „0“, repräsentiert durch eine erste Pixelgruppe in Schwarz „1“, repräsentiert durch eine zweite Pixelgruppe, ändert, die Grenze zwischen der ersten Pixelgruppe „0“ und der zweiten Pixelgruppe „1“ als eine Oberkante bezeichnet. Ähnlich wird, wenn der Binärwert sich von Schwarz „1", repräsentiert durch die zweite Pixelgruppe, in Weiß „0“, repräsentiert durch eine dritte Pixelgruppe entlang dem Scannweg geändert wird, die Grenze zwischen der zweiten Pixelgruppe „1“ und der dritten Pixelgruppe „0“ als eine Unterkante bezeichnet. - Die Fahrbahntrennlinien-Erfassungssektion M106, die Abzweigungserfassungssektion M107 und die Sackgassen- und Hinderniserfassungssektion M108 in der Merkmalspunkt-Erfassungssektion M111 umfassen eine festliegende Schablone für eine Fahrbahntrennlinienerfassung (nicht dargestellt), eine festliegende Schablone für eine Abzweigungserfassung (nicht dargestellt) bzw. eine festliegende Schablone für eine Sackgassen- und Hinderniserfassung (nicht dargestellt). Die Fahrbahntrennlinien-Erfassungssektion M106 erfasst eine Fahrbahntrennlinie auf der Grundlage des vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmusters, das durch die festliegende Schablone für die Fahrbahntrennlinienerfassung repräsentiert ist. Die Abzweigungserfassungssektion M107 erfasst eine Abzweigung auf der Grundlage des vorab gesetzten Abzweigungs-Merkmalspunktmusters, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist. Und die Sackgassen- und Hinderniserfassungssektion M108 erfasst die Sackgasse und das Hindernis auf der Grundlage des vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmusters, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist. Jedes vorab gesetzte Fahrbahntrennlinien-Merkmalspunktmuster, vorab gesetzte Abzweigungs-Merkmalspunktmuster und vorab gesetzte Sackgassen- und Hindernis-Merkmalspunktmuster ist aus einem Paar aus Oberkante und Unterkante zusammengesetzt.
- Wie in der
5 gezeigt, enthalten die Merkmalspunkt-Erfassungsbilddaten eine Fahrbahntrennlinienerfassungs-Scannregion A101, eine Abzweigungserfassungs-Scannregion A102 und eine Sackgassen- und Hinderniserfassungs-Scannregion A103. In den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten entspricht der Abstand zwischen einer Position auf der in dem Bild gezeigten Fahrbahn und dem Fahrzeug der Längsposition der Position auf dem Bild. Der Abstand zwischen dem Fahrzeug und einer Position auf der Fahrbahn entsprechend einem Pixel im Bild wird von der ersten Zeile bis zur m-ten Zeile des Bildes kürzer. Der Abstand zwischen dem Fahrzeug und der Position mit dem kleineren k auf dem Bild ist nämlich größer als der Abstand zwischen dem Fahrzeug und der Position, die auf dem Bild einen größeren Wert k hat, wenn der Wert k von oben (k = 1) bis nach unten (k = m) des Bildes gezählt wird. Es wird auch die Beziehung 1 < m1 < m2 < m angenommen. In diesem Fall entspricht die Sackgassen- und Hinderniserfassungs-Scannregion A103 einem vom Fahrzeug entfernten Bereich und ist in den Pixeln von der ersten Zeile bis zu der m1-ten Zeile unter den m Zeilen und n Spalten der Pixel der Merkmalspunkt-Erfassungsbilddaten gesetzt. Die Abzweigungserfassungs-Scannregion A102 entspricht dem mittleren Bereich vom Fahrzeug und ist in den Pixeln von der (m1+1)-ten Zeile bis zur m2-ten Zeile gesetzt, und die Fahrbahntrennlinienerfassungs-Scannregion A101 entspricht dem dem Fahrzeug nahen Bereich und ist in den Pixeln von der (m2+1)-ten Zeile bis zur m-ten Zeile gesetzt. - Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel von der (m2+1)-ten Zeile bis zur m-ten Zeile in der Fahrbahntrennlinienerfassungs-Scannregion A101, jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach links ab. Das heißt, die linksseitigen Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in dieser Reihenfolge gescannt. Zu diesem Zeitpunkt erfasst die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel, in welchen die Binärzahl Schwarz „1“ repräsentiert unter den Pixeln von der (m2+1)-ten Zeile bis zur m-ten Zeile als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt. Unter Verwendung der festliegenden Schablone für eine Fahrbahntrennlinienerfassung wird für den in Frage kommenden Fahrbahntrennlinienmerkmalspunkt ein Mustervergleich durchgeführt. Wenn bei dem Mustervergleich der in Frage kommende Fahrbahntrennlinienmerkmalspunkt „1“ mit dem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster, das durch die festliegende Schablone für eine Fahrbahntrennlinienerfassung repräsentiert ist, übereinstimmt, entscheidet die Fahrbahntrennlinien-Erfassungssektion M106, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt ein linksseitiger Fahrbahntrennlinienmerkmalspunkt ist (Schritt S106).
- Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel von der (m2+1)-ten Zeile bis zur m-ten Zeile in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach rechts. Das heißt, es werden die rechtsseitigen Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte in dieser Reihenfolge gescannt. Hierbei erfasst die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel, in welchen die Binärzahl Schwarz „1“ repräsentiert, als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt unter den Pixeln von der (m2+1)-ten Zeile bis zur m-ten Zeile. Unter Verwendung der festliegenden Schablone für eine Fahrbahntrennlinienerfassung wird für den in Frage kommenden Fahrbahntrennlinienmerkmalspunkt ein Mustervergleich durchgeführt. Wenn bei dem Mustervergleich der in Frage kommende Fahrbahntrennlinienmerkmalspunkt „1“ mit dem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster, das durch die festliegende Schablone für eine Fahrbahntrennlinienerfassung repräsentiert ist, übereinstimmt, entscheidet die Fahrbahntrennlinien-Erfassungssektion M106, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt der rechtsseitige Fahrbahntrennlinienmerkmalspunkt ist (Schritt S107).
- Die Fahrbahntrennlinien-Erfassungssektion M106 scannt die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, und führt einen Vervollständigungsvorgang durch, um den Teil zu vervollständigen, in welchem der Fahrbahntrennlinienmerkmalspunkt nicht erfasst worden ist (Schritt S 112). Diese Vervollständigung wird wie folgt durchgeführt. Wenn die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal, scannt, wird angenommen, dass ein Fahrbahntrennlinienmerkmalspunkt auf einer Seite, der linken Seite oder der rechten Seite der Fahrbahntrennlinienerfassungs-Scannregion A101 erfasst wird und auf der anderen Seite nicht erfasst wird. In diesem Fall wird auf der rechten Seite oder linken Seite, an der kein Fahrbahntrennlinienmerkmalspunkt erfasst worden ist, das zentrale Pixel der rechten oder linken Regionhälfte auf der seitlichen Scannlinie als ein vervollständigter Fahrbahntrennlinienmerkmalspunkt vervollständigt, um einen fehlenden Punkt einer Fahrbahntrennlinie zu vervollständigen.
- Wenn beispielsweise die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal scannt, wird angenommen, dass der rechtsseitige Fahrbahntrennlinienmerkmalspunkt erfasst wird, und es wird angenommen, dass der linksseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst wird. In diesem Fall wird bei den linken Pixeln, aus welchen der linksseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das Pixel auf der (n/2)-ten Spalte, welches das zentrale Pixel ist, als der vervollständigte Fahrbahntrennlinienmerkmalspunkt vervollständigt. Ähnlich wird, wenn die Fahrbahntrennlinien-Erfassungssektion M106 die Pixel der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal scannt, angenommen, dass der linksseitige Fahrbahntrennlinienmerkmalspunkt erfasst wird, und es wird angenommen, dass der rechtsseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst wird. In diesem Fall wird aus den rechten Pixeln, aus welchen der rechtsseitige Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das Pixel auf der (n/2)-ten Spalte, das das zentrale Pixel ist, als der vervollständigte Fahrbahntrennlinienmerkmalspunkt vervollständigt. Durch diesen Vervollständigungsvorgang werden die auf der rechten oder linken Fahrbahntrennlinie positionierten Punkte, die jedoch auf dem Bild fehlen, vervollständigt.
- Die Fahrbahntrennlinien-Erfassungssektion M106 sendet die Fahrbahntrennlinienmerkmalspunkte (den linksseitigen Fahrbahntrennlinienmerkmalspunkt und den rechtsseitigen Fahrbahntrennlinienmerkmalspunkt), (den linksseitigen Fahrbahntrennlinienmerkmalspunkt und den vervollständigen rechtsseitigen Fahrbahntrennlinienmerkmalspunkt) und (den rechtsseitigen Fahrbahntrennlinienmerkmalspunkt und den vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkt) an die Fahrzeugpositions-Schätzsektion M109, wenn die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101 jeweils eine Zeile auf einmal gescannt worden sind.
- Die Fahrzeugpositions-Schätzsektion M109 berechnet die Fahrzeugposition, von der angenommen wird, dass sie die Position des Fahrzeugs auf der Fahrbahn anzeigt, als einen Merkmalspunkt auf der Fahrbahn in Übereinstimmung mit den Fahrbahntrennlinienmerkmalspunkten (dem linksseitigen Fahrbahntrennlinienmerkmalspunkt und dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt), (dem linksseitigen Fahrbahntrennlinienmerkmalspunkt und dem vervollständigten rechtsseitigen Fahrbahntrennlinienmerkmalspunkt) und (dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt und dem vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkt), die durch die Fahrbahntrennlinien-Erfassungssektion M106 jeweils eine Zeile auf einmal erfasst worden sind.
- Wie im Einzelnen in der
6 gezeigt, wird die Koordination der Fahrbahntrennlinienerfassungs-Scannregion A101 so ersetzt, dass der Koordinatenwert des Pixels der (m2+1)-ten Zeile, erste Spalte mit (0, 0) definiert ist und der Koordinatenwert des Pixels der m-ten Zeile, n-te Spalte mit (Xmax, Ymax) definiert ist. Der seitliche Koordinatenwert des Pixels entsprechend dem linksseitigen Fahrbahntrennlinienmerkmalspunkt oder des vervollständigten linksseitigen Fahrbahntrennlinienmerkmalspunkts ist als line_L definiert, und der seitliche Koordinatenwert des Pixels entsprechend dem rechtsseitigen Fahrbahntrennlinienmerkmalspunkt oder des vervollständigten rechtsseitigen Fahrbahntrennlinienmerkmalspunkts ist als line_R definiert. Wie in der6 gezeigt, zeigt nämlich line_L den Fahrbahntrennlinienmerkmalspunkt an, der durch das Scannen der linken Seite des Bildes erfasst worden ist, und line_R zeigt den Fahrbahntrennlinienmerkmalspunkt an, der durch Scannen der rechten Seite des Bildes erfasst worden ist. -
- Als Nächstes repräsentieren der Koordinatenwert (0, Xmax/2) bzw. (Ymax, Xmax/2) die Pixel der (m2+1)-ten Zeile (n/2)-ten Spalte und der m-ten Zeile, (n/2)-ten Spalte, die als die zentrale Position des Bildes auf einer Scannlinie definiert sind. Dann wird die zentrale Position als CENTER und das Maß der Abweichung der Fahrzeugposition center_pos zur zentralen Position CENTER als line_delta definiert, die Fahrzeugpositions-Schätzsektion berechnet das Maß der Abweichung line_delta zur zentralen Position CENTER des Bildes auf einer Scannlinie durch die folgende Gleichung:
- Diese Berechnung wird für jede Scannlinie zwischen den (m2+1)-ten und m-ten Zeilen in der Fahrbahntrennlinienerfassungs-Scannregion A101 durchgeführt (Schritt S113).
- Als Nächstes berechnet die Fahrzeugpositions-Schätzsektion M109 den Mittelwert der Abweichungsmaße line_delta von der mittleren Position CENTER, die für alle Scannzeilen zwischen der (m2+1)-ten und m-ten Zeile bestimmt worden sind, und bestimmt die laufende Fahrzeugposition in Übereinstimmung mit dem Mittelwert (Schritt S114).
- Im Einzelnen berechnet die Fahrzeugpositions-Schätzsektion M109 durch Definieren der Summe der Abweichungsgrößen line _delta gegenüber der mittleren Position CENTER bezogen auf alle Zeilen zwischen der (m2+1)-ten und m-ten Zeile als Σline _delta und den Mittelwert der Abweichungsgrößen line _delta als frame_delta, einen Mittelwert frame_delta durch die folgende Gleichung:
-
- Wenn hierbei Current_ CENTER > 0 ist, zeigt dies an, dass das Fahrzeug auf der rechten Seite der mittleren Position des Bildes ist, und wenn Current_ CENTER < 0 ist, zeigt dies an, dass das Fahrzeug auf der rechten Seite der zentralen Position des Bildes ist.
- In dem Schritt S114 gibt die Fahrzeugpositions-Schätzsektion M109 die berechnete derzeitige Fahrzeugposition als die Fahrpositionsinformation an das automatische Fahrsystem M200 aus. Oder es können die derzeitige Fahrzeugposition und die Fahrbahntrennlinienmerkmalspunkte (der rechtsseitige Fahrbahntrennlinienmerkmalspunkt und der linksseitige Fahrbahntrennlinienmerkmalspunkt) als Fahrpositionsinformation an das automatische Fahrsystem M200 ausgegeben werden.
- Die Abzweigungserfassungssektion M107 scannt die Pixel von der (m1+1)-ten Zeile bis zur m2-ten Zeile in der Abzweigungserfassungs-Scannregion A102 jeweils eine Zeile auf einmal von der mittleren Position des Bildes in der Richtung nach links. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Abzweigungserfassungssektion M107 das Pixel, dessen Binärzahl Schwarz „1“ repräsentiert, unter den Pixeln von der (m1+1)-ten Zeile bis zur m2-ten-Zeile als einen in Frage kommenden Abzweigungsmerkmalspunkt. Die Abzweigungserfassungssektion M107 führt einen Mustervergleich des erfassten in Frage kommenden Abzweigungsmerkmalspunkts unter Verwendung der festliegenden Schablone für die Abzweigungserfassung durch. Wenn der in Frage kommende Abzweigungsmerkmalspunkt „1“ beim Mustervergleich mit dem vorab gesetzten Abzweigungs-Merkmalspunktmuster, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist, übereinstimmt, entscheidet die Abzweigungserfassungssektion M107, dass der in Frage kommende Abzweigungsmerkmalspunkt ein linker Abzweigungsmerkmalspunkt ist (Schritt S108).
- Die Abzweigungserfassungssektion M107 scannt die Pixel von der (m1+1)-ten Zeile bis zur m2-ten Zeile als der Abzweigungserfassungs-Scannregion A102, jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach rechts. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Abzweigungserfassungssektion M107 das Pixel, dessen Binärzahl Schwarz „1“ repräsentiert, unter den Pixeln von der (m1+1)-ten Zeile bis zur m2-ten Zeile als einen in Frage kommenden Abzweigungsmerkmalspunkt. Die Abzweigungserfassungssektion M107 führt einen Mustervergleich des erfassten in Frage kommenden Abzweigungsmerkmalspunkts unter Verwendung der festliegenden Schablone für die Abzweigungserfassung durch. Wenn bei dem Mustervergleich der in Frage kommende Abzweigungsmerkmalspunkt „1“ mit dem vorab gesetzten Abzweigungs-Merkmalspunktmuster, das durch die festliegende Schablone für die Abzweigungserfassung repräsentiert ist, übereinstimmt, entscheidet die Abzweigungserfassungssektion M107, dass der in Frage kommende Abzweigungsmerkmalspunkt ein rechter Abzweigungsmerkmalspunkt ist (Schritt S109).
- Die Abzweigungserfassungssektion M107 erzeugt eine Abzweigungsinformation, die anzeigt, ob der erzielte Abzweigungsmerkmalspunkt (der rechte Abzweigungsmerkmalspunkt oder der linke Abzweigungsmerkmalspunkt) auf der rechten Seite der mittleren Position des Bildes existiert oder auf der linken Seite existiert oder an beiden Seiten der rechten und linken Seite existiert oder auf den beiden Seiten rechts und links nicht existiert, und gibt dann die Abzweigungsinformation an das automatische Fahrsystem M200 aus (Schritt S 115).
- Die Sackgassen- und Hinderniserfassungssektion M108 scannt die Pixel von der ersten Zeile bis zur m1-ten Zeile in der Sackgassen- und Hinderniserfassungs-Scannregion A103 jeweils eine Zeile auf einmal, von der mittleren Position des Bildes in der Richtung nach links. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur ersten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Sackgassen- und Hinderniserfassungssektion M108, dessen Binärzahl „1“ repräsentiert, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt, unter den Pixeln von der ersten Zeile bis zur m1-ten Zeile. Die Sackgassen- und Hinderniserfassungssektion M108 führt einen Mustervergleich des erfassten in Frage kommenden Sackgassen- und Hindernismerkmalspunkts unter Verwendung der festliegenden Schablone für die Sackgassen- und Hinderniserfassung durch. Wenn der Mustervergleich der in Frage kommende Sackgassen- und Hindernismerkmalspunkt „1“ mit dem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster übereinstimmt, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist, entscheidet die Sackgassen- und Hinderniserfassungssektion M108, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt ein linker Sackgassen- und Hindernismerkmalspunkt ist (Schritt S 110).
- Die Sackgassen- und Hinderniserfassungssektion M108 scannt die Pixel von der ersten Zeile bis zur m1-ten Zeile als der Sackgassen- und Hinderniserfassungs-Scannregion A103, jeweils eine Zeile auf einmal von der zentralen Position des Bildes in der Richtung nach rechts. Das heißt, die Pixel von der (n/2)-ten Spalte bis zur n-ten Spalte werden in der genannten Reihenfolge gescannt. Hierbei erfasst die Sackgassen- und Hinderniserfassungssektion M108 das Pixel, dessen Binärzahl Schwarz „1“ repräsentiert, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt unter den Pixeln von der ersten Zeile bis zur m1-ten Zeile. Die Sackgassen- und Hinderniserfassungssektion M108 führt einen Mustervergleich des erfassten in Frage kommenden Sackgassen- und Hindernismerkmalspunkts unter Verwendung der festliegenden Schablone für die Sackgassen- und Hinderniserfassung durch. Wenn bei dem Mustervergleich der in Frage kommende Sackgassen- und Hindernismerkmalspunkt „1“ mit dem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster, das durch die festliegende Schablone für die Sackgassen- und Hinderniserfassung repräsentiert ist, übereinstimmt, entscheidet die Sackgassen- und Hinderniserfassungssektion M108, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt ein rechter Sackgassen- und Hindernismerkmalspunkt ist (Schritt S111).
- Die Sackgassen- und Hinderniserfassungssektion M108 erzeugt die Sackgassen- und Hindernisinformation und gibt diese an das automatische Fahrsystem M200 aus (Schritt S 116). Die Sackgassen- und Hindernisinformation, die anzeigt, ob der erzielte Sackgassen- und Hindernismerkmalspunkt (der rechte Sackgassen- und Hindernismerkmalspunkt und der linke Sackgassen- und Hindernismerkmalspunkt) an der rechten Seite zur mittleren Position des Bildes existiert oder auf der linken Seite existiert oder sowohl auf der rechten und linken Seite existiert oder weder auf der rechten noch auf der linken Seite existiert.
- [Vergleich]
- Es werden hier ein eingebautes Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung und ein Bezugsbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge (ein Fahrbahnmarkierungs-Erkennungsgerät und ein Fahrzeughindernis-Erfassungsgerät) verglichen.
- [Vergleich 1]
- In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung sind die Scannregionen, die jeweils irgendeiner der Arten von Merkmalspunkten auf der Straße zugewiesen sind (eine Fahrbahntrennlinie, eine Abzweigung, eine Sackgasse und ein Hindernis), für das Erfassen der Bilddaten (die Merkmalspunkt-Erfassungsbilddaten) gesetzt. Somit kann verglichen mit einem Fall, bei dem ein ganzes Bild für alle Arten von Merkmalspunkten gescannt wird, der Umfang des Scannvorgangs reduziert werden.
- In einem eingebauten Bildverarbeitungsgerät für Fahrzeuge gemäß einem Bezugsbeispiel (insbesondere einem Fahrbahnmarkierungs-Erkennungsgerät) wird als Vorgang zum Erfassen von Mustern, wie beispielsweise einer Fahrbahnmarkierung, einer Abzweigung, einer Sackgasse und eines Hindernisses, die gesamte Region des Bildes gescannt, mit Durchführung des Mustervergleichs der abgetasteten Pixel und der festliegenden Schablonen, die jeweils den Mustern entsprechen. In diesem Fall wird die gesamte Region gescannt, was zu dem Problem führt, dass das Maß der Vorgänge beim Durchführen des Scannens entsprechend der Ganzbildgröße des Bildes groß wird.
- Andererseits ist in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung die gesamte Fläche der Erfassungsbilddaten in die Fahrbahntrennlinienerfassungs-Scannregion A101, die Abzweigungserfassungs-Scannregion A102 und die Sackgassen- und Hinderniserfassungs-Scannregion A103 unterteilt. Dann werden die Pixel in der Fahrbahntrennlinienerfassungs-Scannregion A101, der Abzweigungserfassungs-Scannregion A102 und der Sackgassen- und Hinderniserfassungs-Scannregion A103 jeweils eine Zeile auf einmal von der Fahrbahntrennlinien-Erfassungssektion M106, der Abzweigungserfassungssektion M107 und der Sackgassen- und Hinderniserfassungssektion M108 gescannt. Auf diese Weise sind die Erfassungsbilddaten in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß dieser Ausführungsform in die Fahrbahntrennlinienerfassungs-Scannregion A101, die Abzweigungserfassungs-Scannregion A102 und die Sackgassen- und Hinderniserfassungs-Scannregion A103 unterteilt. Somit kann die Informationsmenge, die beim Scannen verarbeitet wird, reduziert werden.
- Auch der Abstand zwischen dem Fahrzeug und dem Punkt entsprechend den m Zeilen und n Spaltenpixeln der Erfassungsbilddaten wird von der ersten Zeile bis zur m-ten Zeile in der genannten Reihenfolge kürzer. Es wird auch 1 < m1 < m2 < m angenommen. In diesem Fall entsprechen die Sackgassen- und Hinderniserfassungs-Scannregion A103, die Abzweigungserfassungs-Scannregion A102 und die Fahrbahntrennlinienerfassungs-Scannregion A101 den Pixeln von der ersten Zeile bis zur m1-ten Zeile, den Pixeln von der (m1+1)-ten Zeile bis zur m2-ten Zeile bzw. den Pixeln von der (m2+1)-ten Zeile bis zur m-ten Zeile unter den m Zeilen und n Spaltenpixeln der Erfassungsbilddaten. Folglich gibt es die folgenden Vorzüge.
- Zunächst wird das Merkmal des Bildes (die Perspektive des Bildes, nämlich der Vordergrund erscheint groß, und der Hintergrund erscheint klein) dafür verwendet, die Scannregion auf der Grundlage des zu erfassenden Zielobjekts zu spezifizieren. Somit kann in der Scannregion der Einfluss von Rauschen unterdrückt werden, und das fehlerhafte Erfassen von Merkmalspunkten kann verringert werden.
- Zweitens ist die Fahrbahntrennlinienerfassungs-Scannregion A101 im Vordergrund gesetzt (die untere Region des Bildes). Somit kann, selbst wenn das Fahrzeug stark von der Mitte einer Fahrbahn abweicht oder in einer Kurve fährt, wenigstens ein Teil einer Fahrbahntrennlinie abgebildet werden. Daher ist es einfach, den Vorgang zum Berechnen der Fahrzeugposition durchzuführen.
- Drittens wird die vom Fahrzeug entfernte Region gescannt, um die Sackgasse und ein Hindernis zu erfassen, sodass die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses früher als die Anwesenheit oder Abwesenheit einer Abzweigung erkannt werden kann. Wenn somit das automatische Fahrsystem M200 die Bewegung des Fahrzeugs in Antwort auf die erfassten Merkmalspunkte steuert, wird es einfach, die Entscheidung für das Steuern der Fahrzeugbewegung in Antwort auf die Anwesenheit oder Abwesenheit einer Sackgasse oder eines Hindernisses auszuführen.
- Auf diese Weise kann in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge der vorliegenden Ausführungsform wegen der Anordnung der zugewiesenen Scannregionen der Einfluss von Rauschen unterdrückt werden, und das fehlerhafte Erfassen von Merkmalspunkten kann reduziert werden. Somit kann die bei dem Scannen verarbeitete Informationsmenge reduziert werden. Wenn beispielsweise die Scannregion als 1/3 des gesamten Bildes definiert ist, ist die zu verarbeitende Informationsmenge ebenfalls 1/3.
- [Vergleich 2]
- In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß dieser Ausführungsform wird für ein linksseitiges Pixel oder ein rechtsseitiges Pixel, das an einer Fahrbahntrennlinie positioniert, jedoch nicht erfasst ist, das Pixel, das in der Mitte der linken Halbregion oder rechten Halbregion positioniert ist, als der ergänzte Fahrbahntrennlinienmerkmalspunkt ergänzt. Somit kann die derzeit geschätzte Fahrzeugposition verglichen mit dem Fall, bei dem keine Ergänzung ausgeführt wird, an die wahre Fahrzeugposition angenähert werden.
- In einem Referenzbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge, das keine Ergänzungsfunktion hat, werden, wenn ein Fahrzeug fährt, eine Fahrbahntrennlinie, die sich von unten links nach oben rechts, auf der linken Seite des Fahrzeugs gelegen, und eine andere, die sich von unten rechts nach oben links auf der rechten Seite des Fahrzeugs gelegen erstreckt, abgebildet. Die derzeitige Fahrzeugposition wird auf der Grundlage des Maßes der Anordnung zur Bildmitte in seitlicher Richtung erkannt, das in Übereinstimmung mit den Positionen der linken und rechten Fahrbahntrennlinien erzielt worden ist, die durch einen Mustervergleich eines Paars der Kante der rechten Fahrbahntrennlinie und der linken Fahrbahntrennlinie mit einer festliegenden Schablone berechnet worden sind. In dem Fall, bei dem die Fahrzeugposition stark von der Fahrbahn abweicht oder wenn das Fahrzeug in einer Kurve fährt, wird jedoch nur eine der rechten und linken Fahrbahntrennlinien abgebildet. Als Ergebnis wird eine Kantenpaar der linken und rechten Fahrbahntrennlinien bei dem Mustervergleich unter Verwendung der festliegenden Schablone nicht erfasst, sodass die Fahrzeugposition nicht berechnet werden kann.
- Bei dem Bezugsbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge ohne Ergänzungsfunktion (insbesondere einem Fahrbahnmarkierungs-Erkennungsgerät) wird eine vorläufige Fahrbahntrennlinienposition auf der Grundlage der Position des Kantenpaars, zusammengesetzt aus der Oberkante und der Unterkante, definiert. Sofern jedoch nicht eine Extrapolierschaltung zum Erfassen eines Kantenpaars durch Scannen in der weiteren rechten und linken Richtung des Bildfeldes installiert ist, kann die Position der Fahrbahntrennlinien nicht erzielt werden. Bei einem automatischen Fahren macht dies den Betrieb unmöglich. Andererseits führt die Installation einer Ergänzungsschaltung zu dem Problem, dass die Schaltungsgröße vergrößert wird.
- Andererseits wird bei einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung ein Ergänzungsvorgang wie im Folgenden angegeben ausgeführt. Beim Scannen der Pixel auf der Fahrbahntrennlinienerfassungs-Scannregion A101, die jeweils eine Zeile auf einmal gescannt werden, wird angenommen, dass nur einer der linksseitigen und rechtsseitigen Fahrbahntrennlinienmerkmalspunkte erfasst wird und der andere nicht erfasst wird. Im Folgenden wird die linke oder rechte Regionhälfte, in der der andere Fahrbahntrennlinienmerkmalspunkt, der nicht erfasst ist, positioniert ist, als die Merkmalspunkt-Fehlregionhälfte bezeichnet. Die Merkmalspunkt-Fehlregionhälfte ist entweder die linke Regionhälfte, bestehend aus den Pixeln von der (n/2)-ten Spalte bis zur ersten Spalte oder die rechte Regionhälfte und die rechte Regionhälfte bestehend aus den Pixeln von der (n/2)-ten Spalte bis zur n-ten Spalte. In diesem Fall ist die mittlere Position in seitlicher Richtung in der Merkmalspunkt-Fehlregionhälfte als der ergänzte Fahrbahntrennlinienmerkmalspunkt der Regionhälfte definiert.
- Dann wird die Position des Fahrzeugs auf der Straße in Übereinstimmung mit dem einen Fahrbahntrennlinienmerkmalspunkt in einer Regionhälfte und dem ergänzten Fahrbahntrennlinienmerkmalspunkt in der anderen Regionhälfte geschätzt. Auf diese Weise wird in dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform in der Merkmalspunkt-Fehlregionhälfte der ergänzte Fahrbahntrennlinienmerkmalspunkt in der Merkmalspunkt-Fehlregionhälfte ergänzt. Als Ergebnis kann die Abweichung der geschätzten Fahrzeugposition von der wirklichen Fahrzeugposition reduziert werden. Daraus folgend gibt es die folgenden Vorteile.
- Erstens wird, wie in der
7A gezeigt, für das Bild, bei dem eine Kante verloren ist, die Abweichung reduziert. Der Pfeil P1 zeigt an, dass in der Zeile in der Regionhälfte eine Kante erfasst ist. Der gestrichelte Pfeil P2 zeigt an, dass in der Zeile der Regionhälfte keine Kante erfasst ist. Der Kreis P3 zeigt die derzeitige Fahrzeugposition, berechnet aus den erfassten Kanten, an. Der schwarze Kreis P4 zeigt den derzeitigen Fahrzeugwert, grob geschätzt aus der erfassten Kante und einer Kante, die durch den Ergänzungsvorgang zum Ergänzen des fehlenden Fahrbahntrennlinienmerkmalspunkts erzielt worden ist. - Zweitens kann, wie in der
7B und der7C gezeigt, selbst wenn ein Fahrzeug durch eine Kurve fährt oder wenn ein Fahrzeug stark von der Mitte einer Fahrbahn abweicht, bei einem automatischen Fahren durch Berechnen der wirklichen Fahrzeugposition auf der Grundlage der ergänzten Kante das automatische Fahren auf einem Kurs näher an einem gewünschten Kurs erzielt werden. - Beispielsweise ist in der
7B ein Bild für den Fall gezeigt, dass das Fahrzeug in einer Kurve fährt. In der7C ist ein Bild für den Fall gezeigt, dass das Fahrzeug stark von der Mitte einer Fahrbahn abweicht. In diesen Fällen ist das Fahrzeug an der rechten Seite der Fahrbahn positioniert, und es ist ein Fahren zum Steuern des Fahrzeugs in der Richtung nach links gewünscht. Wenn jedoch die vorstehend erläuterte Ergänzung nicht durchgeführt wird, wird die Fahrzeugposition als auf einer linken Seite der Fahrbahn befindlich beurteilt. Bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform ist es möglich, die Fahrzeugposition als in der rechten Region der Fahrbahn liegend zu beurteilen, obwohl gegenüber der wirklichen Fahrzeugposition eine geringe Abweichung vorhanden ist. - Auf diese Weise hat das eingebaute Bildverarbeitungsgerät M100 für Fahrzeuge dieser Ausführungsform einen breiten zulässigen Bereich für Rauschen, die Abweichung von der Fahrzeugposition und die Abweichung von der installierten Position der Kamera. Somit kann die Fahrzeugposition unter Verwendung einer Kantenerfassung auf der Grundlage einer festliegenden Schablone berechnet werden, ohne dass eine Extraschaltung oder ein Extravorgang zugefügt wird.
- [Vergleich 3]
- In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung kann die Anzahl der Schaltungen zum Erzielen eines Filterungsvorgangs für die Kantenerfassung reduziert werden. Somit kann die Schaltungsgröße reduziert werden.
- In einem Referenzbeispiel eines eingebauten Bildverarbeitungsgeräts für Fahrzeuge (insbesondere eines Geräts zum Erfassen eines Hindernisses auf einer Fahrbahn) werden zwei Arten von eindimensionalen Filterungsvorgängen durchgeführt, nämlich der horizontale (seitliche) und der vertikale (longitudinale) Kantenerfassungs-Filterungsvorgang. Somit sind bei dieser Referenztechnik die Schaltung zum Erzielen von zwei Arten von eindimensionalen Filterungsvorgängen erforderlich, sodass das Problem besteht, dass die Schaltungsgröße vergrößert ist.
- Bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung kann andererseits der Filterungsvorgang unter Verwendung von nur einem zweidimensionalen Filterungsvorgang erzielt werden. Das heißt, er kann erzielt werden, indem nur eine Schaltung zum Erzielen eines zweidimensionalen Filterungsvorgangs zugefügt wird. Somit kann die Schaltungsgröße verglichen mit dem Referenzbeispiel verringert werden.
- In einer Ausführungsform der vorliegenden Erfindung kann der zweidimensionale Filterungsvorgang auch auf der Grundlage allein der Intensitäten der fokussierten Pixel und der umgebenden 8 Pixel durchgeführt werden. Um daher den zweidimensionalen Filterungsvorgang zu erzielen, ist es ausreichend, nur 3 Zeilen Puffer vorzubereiten, was die halbe Größe des Referenzbeispiels bedeutet. Wenn beispielsweise die Anzahl der Zeilenpuffer, die bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge erforderlich ist, 6 ist, ist die Anzahl der bei dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung eingebauten Zeilenpuffer gleich 3. Hierbei ist in einem Zeilenpuffer die Anzahl der notwendigen Flip-Flops entsprechend der Bildgröße (seitlichen Breite) in 1 Ganzbild erhöht. Somit führt dies im Fall einer Bildgröße von 1000* 1000 [Pixel] pro 1 Ganzbild zu einer Verringerung von 3000 Flip-Flops.
- Das bloße Reduzieren der Anzahl der Raumfilter-Verarbeitungsschaltungen kann zu einer Verminderung der Präzision der Bildverarbeitung führen. Gemäß dem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge einer Ausführungsform der vorliegenden Erfindung können jedoch die Kompensation einer fehlenden Kante und die Rauschreduktion gleichzeitig durchgeführt werden. Somit kann das Bild mit hoher Präzision erzielt werden, bei dem ein Fehlen einer Kante einer Fahrbahntrennlinie kompensiert ist und das Rauschen reduziert ist, sodass ein Merkmalspunkt auf der Straße erfasst werden kann, wobei fehlerhafte Operationen unterdrückt werden, ähnlich wie bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge.
- Darüber hinaus wird bei dem Referenzbeispiel des eingebauten Bildverarbeitungsgeräts für Fahrzeuge (insbesondere einem Gerät zum Erfassen eines Hindernisses auf einer Fahrbahn) nach der Durchführung von zwei Arten von eindimensionalen Filterungsvorgängen, nämlich dem horizontalen und dem vertikalen Kantenerfassungs-Filterungsvorgang, in Übereinstimmung mit dem Durchführungsergebnis eine schräge Linie durch einen Schräglinienkanten-Erfassungsvorgang in einer Hindernis-Beurteilungseinrichtung erfasst. Somit ist bei dem Referenzbeispiel eine Schaltung zum Erzielen von zwei Arten von eindimensionalen Filterungsvorgängen und der Schräglinien-Erfassungsvorgang erforderlich. Daher besteht das Problem, dass die Schaltung vergrößert ist.
- Bei dem eingebauten Bildverarbeitungsgerät M10 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung andererseits ist der Schräglinienkanten-Erfassungsvorgang nicht erforderlich, und die Anzahl der Vorgänge und die Schaltungsgröße kann verringert werden.
- [Wirkung]
- Wie vorstehend angegeben, sind gemäß einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß den Ausführungsformen der vorliegenden Erfindung die Scannregionen, die den Arten von Merkmalspunkten (der Fahrbahntrennlinie, der Abzweigung, der Sackgasse und dem Hindernis) auf der Straße zugewiesen sind, für die Merkmalspunkt-Erfassungsbilddaten gesetzt. Somit kann die zu verarbeitende Informationsmenge bei Durchführen des Scannens reduziert werden.
- In einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung wird für das Pixel in der linken oder rechten Regionhälfte, in welcher der Fahrbahntrennlinienmerkmalspunkt nicht erfasst werden kann, das zentrale Pixel der Regionhälfte als der ergänzte Fahrbahntrennlinienmerkmalspunkt ergänzt. Somit kann die laufend geschätzte Fahrzeugposition an die wirkliche Fahrzeugposition angenähert werden.
- Gemäß einem eingebauten Bildverarbeitungsgerät M100 für Fahrzeuge gemäß einer Ausführungsform der vorliegenden Erfindung kann die Anzahl der Schaltungen zum Erzielen des Filterungsvorgangs für die Kantenerfassung reduziert werden, sodass die Schaltungsgröße reduziert sein kann.
Claims (13)
- Bildverarbeitungsgerät mit: einer Kantenerfassungssektion (M104), die so konfiguriert ist, dass sie Erfassungsbilddaten, die Pixel in m Zeilen und n Spalten (m und n sind ganze Zahlen größer als 2) erzeugt, indem an Bilddaten, die eine Frontsicht aus einem Fahrzeug sind, eine Bildverarbeitung ausgeführt wird; einer Merkmalspunkt-Erfassungssektion (M111), die so konfiguriert ist, dass sie Merkmalspunkte auf der Grundlage der Erfassungsbilddaten erfasst und Merkmalspunkte an ein Ausgabegerät (M200) ausgibt, wobei die Merkmalspunkt-Erfassungssektion (M111) die Merkmalspunkte kategorisiert als einen Fahrbahntrennlinienmerkmalspunkt, der einen Punkt auf einer Fahrbahntrennlinie anzeigt, einen Abzweigungsmerkmalspunkt, der eine Abzweigung einer Fahrbahn anzeigt, und einen Sackgassen- und Hindernismerkmalspunkt, der eine Sackgasse einer Fahrbahn oder ein Hindernis auf der Fahrbahn anzeigt, wobei die Erfassungsbilddaten eine Fahrbahntrennlinienerfassungs-Scannregion (A101), die für das Erfassen des Fahrbahntrennlinienmerkmalspunkts eingestellt ist, eine Abzweigungserfassungs-Scannregion (A102), die für das Erfassen des Abzweigungsmerkmalspunkts eingestellt ist, und eine Sackgassen- und Hinderniserfassungs-Scannregion (A103), die für das Erfassen des Sackgassen- und Hindernismerkmalspunkts eingestellt ist, aufweist, wobei ein Abstand zwischen einem Fahrzeug, das das Bildaufnahmegerät trägt, und einer Position auf einer Fahrbahn entsprechend einem Pixel in den Erfassungsbilddaten von der ersten Zeile bis zur m-ten Zeile der Erfassungsbilddaten kürzer wird, die Sackgassen- und Hinderniserfassungs-Scannregion (A103) in Pixeln eingestellt ist, die von der ersten Zeile bis zur m1-ten Zeile der Erfassungsbilddaten positioniert sind, die Abzweigungserfassungs-Scannregion (A102) in den Pixeln eingestellt ist, die von der m1-ten Zeile bis zur m2-ten Zeile der Erfassungsbilddaten positioniert sind, und die Fahrbahntrennlinienerfassungs-Scannregion (A101) in Pixeln eingestellt ist, die von der m2-ten Zeile bis zur m-ten Zeile der Erfassungsbilddaten positioniert sind, wobei gilt 1 < m1 < m2 < m, und wobei die Merkmalspunkt-Erfassungssektion (M111) so ausgebildet ist, dass sie den Sackgassen- und Hindernismerkmalspunkt durch Scannen der Sackgassen- und Merkmalserfassung-Scanregion erfasst, bevor der Abzweigungsmerkmalspunkt durch Scannen der Abzweigungserfassung-Scanregion erfasst wird.
- Eingebautes Bildverarbeitungsgerät (M100) für Fahrzeuge mit: einem Bildaufnahmegerät (M101), das so gestaltet ist, dass es Bilddaten erzeugen kann, indem ein Bild einer Frontsicht aus dem Fahrzeug aufgenommen wird, und einem Bildverarbeitungsgerät nach
Anspruch 1 . - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach
Anspruch 2 , wobei die Merkmalspunkt-Erfassungssektion (M111) aufweist: eine Fahrbahntrennlinien-Erfassungssektion (M106), die so gestaltet ist, dass sie die Fahrbahntrennlinie durch Scannen der Fahrbahntrennlinienerfassungs-Scannregion (A101) erfasst; eine Abzweigungserfassungssektion (M107), die so gestaltet ist, dass sie den Abzweigungsmerkmalspunkt durch Scannen der Abzweigungserfassungs-Scannregion (A102) erfasst; und eine Sackgassen- und Hinderniserfassungssektion (M108), die so gestaltet ist, dass sie den Sackgassen- und Hindernismerkmalspunkt durch Scannen der Sackgassen- und Hinderniserfassungs-Scannregion (A103) erfasst. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach
Anspruch 3 , wobei die Fahrbahntrennlinien-Erfassungssektion (M106) so gestaltet ist, dass sie den Fahrbahntrennlinienmerkmalspunkt, der in einer linken Region der Erfassungsbilddaten positioniert ist, als einen linksseitigen Fahrbahntrennlinienmerkmalspunkt beurteilt und den Fahrbahntrennlinienmerkmalspunkt, der in einer rechten Region der Erfassungsbilddaten positioniert ist, als einen rechtsseitigen Fahrbahntrennlinienmerkmalspunkt beurteilt, und die Merkmalspunkt-Erfassungssektion (M111) weiterhin aufweist: eine Fahrzeugpositions-Schätzsektion (M109), die so gestaltet ist, dass sie eine Position eines Fahrzeugs, welches das Bildaufnahmegerät trägt, auf der Grundlage des linksseitigen Fahrbahntrennlinienmerkmalspunkts und des rechtsseitigen Fahrbahntrennlinienmerkmalspunkts schätzt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach
Anspruch 4 , wobei die Fahrbahntrennlinien-Erfassungssektion (M106) so konfiguriert ist, dass sie Pixel in der Fahrbahntrennlinienerfassungs-Scannregion jeweils eine Zeile auf einmal scannt, und bei Erfassen eines linksseitigen Fahrbahntrennlinienmerkmalspunkts oder rechtsseitigen Fahrbahntrennlinienmerkmalspunkts auf einer gewissen Zeile und Nichterfassen des anderen einen, des linksseitigen Fahrbahntrennlinienmerkmalspunkts und rechtsseitigen Fahrbahntrennlinienmerkmalspunkts auf der gewissen Zeile, eine linke oder rechte Regionhälfte, in welcher der Fahrbahntrennlinienmerkmalspunkt nicht erfasst ist, als eine Merkmalspunkt-Fehlregionhälfte definiert, und einen ergänzten Fahrbahntrennlinienmerkmalspunkt erzeugt, der in der Mitte der Merkmalspunkt-Fehlregionhälfte in der Abtastrichtung positioniert ist, und die Fahrzeugpositions-Schätzsektion (M109) so konfiguriert ist, dass sie eine Position (P4) eines Fahrzeugs, das das Bildaufnahmegerät trägt, auf der Grundlage des linksseitigen oder rechtsseitigen Fahrbahntrennlinienmerkmalspunkts, der in einer bestimmten Zeile erfasst worden ist, und des ergänzten Fahrbahntrennlinienmerkmalspunkts schätzt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 2 bis5 , wobei die Kantenerfassungssektion so konfiguriert ist, dass sie: einen gewichteten Mittelwert einer Intensität eines fokussierten Pixels und der Intensitäten der umgebenden Pixel, welche fokussierte Pixel umgeben, berechnet, indem jedes der Pixel der m Zeilen und n Spalten als das fokussierte Pixel genommen wird; eine zweidimensionale Filterung durchführt, indem gefilterte Bilddaten erzeugt werden, die gefilterte Pixel enthalten, wobei jedes der gefilterten Pixel eine Intensität hat, die auf der Grundlage des gewichteten Mittelwerts bestimmt worden ist; und gefilterte Bilddaten in Binärform erzeugt, indem jedes der Pixel in den gefilterten Bilddaten unter Verwendung eines Schwellwertintensitätswerts in die Binärform gebracht wird. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach
Anspruch 6 , wobei die Kantenerfassungssektion (M104) so gestaltet ist, dass sie die zweidimensionale Filterung unter Verwendung eines Glättungsfilters, bei dem die Intensität des fokussierten Pixels und die Intensitäten der umgebenden Pixel gleich sind, oder eines Laplace-Filters durchführt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach
Anspruch 6 oder7 , wobei jedes der Pixel in den in die Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Fahrbahntrennlinien-Erfassungssektion (M106) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Fahrbahntrennlinienmerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Fahrbahntrennlinienmerkmalspunkt der Fahrbahntrennlinienmerkmalspunkt ist, wenn der in Frage kommende Fahrbahntrennlinienmerkmalspunkt mit einem vorab gesetzten Fahrbahntrennlinien-Merkmalspunktmuster übereinstimmt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 6 bis8 , wobei jedes der Pixel in den in Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Abzweigungserfassungssektion (M107) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Abzweigungsmerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Abzweigungsmerkmalspunkt der Abzweigungsmerkmalspunkt ist, wenn der in Frage kommende Abzweigungsmerkmalspunkt mit einem vorab gesetzten Abzweigungs-Merkmalspunktmuster übereinstimmt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 6 bis9 , wobei jedes der Pixel in dem in die Binärform gebrachten gefilterten Bilddaten einen ersten Pixelwert oder einen zweiten Pixelwert hat und die Sackgassen- und Hinderniserfassungssektion (M108) so konfiguriert ist, dass sie ein Pixel, das die erste Intensität hat, als einen in Frage kommenden Sackgassen- und Hindernismerkmalspunkt erfasst und entscheidet, dass der in Frage kommende Sackgassen- und Hindernismerkmalspunkt der Sackgassen- und Hindernismerkmalspunkt ist, wenn der in Frage kommende Sackgassen- und Hindernismerkmalspunkt mit einem vorab gesetzten Sackgassen- und Hindernis-Merkmalspunktmuster übereinstimmt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 6 bis10 , wobei jedes der Pixel der in die Binärform gebrachten gefilterten Bilddaten einen Binärwert von 0 oder 1 hat und das Bildverarbeitungsgerät für Fahrzeuge ferner eine Kantenkorrektur- und Rauschreduktionssektion (M105) aufweist, die so gestaltet ist, dass sie: Wert-0-Pixel, die den Binärwert 0 haben, und Wert-1-Pixel, die den Binärwert 1 haben, unter einem fokussierten Binärpixel und umgebenden Binärpixeln, welche das fokussierte Binärpixel umgeben, zählt, indem jedes der Pixel der in die Binärform gebrachten gefilterten Bilddaten als ein fokussiertes Binärpixel genommen wird; Merkmalspunkt-Erfassungsbilddaten erzeugt, indem ein Kantenkorrektur- und Rauschreduktionsvorgang durchgeführt wird, bei dem der Binärwert durch einen neuen Binärwert ersetzt wird, wobei der neue Binärwert durch ein Verhältnis der gezählten Anzahl von Wert-0-Pixel zu der gezählten Anzahl von Wert-1-Pixeln und eine vorbestimmte Bedingung der Anordnung der Wert-0-Pixel und der Wert-1-Pixel der umgebenden Binärpixel für jedes fokussierte Binärpixel bestimmt ist; und die Merkmalspunkt-Erfassungsbilddaten an die Merkmalspunkt-Erfassungssektion (M111) als die Erfassungsbilddaten ausgibt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 2 bis11 , weiterhin mit: einem Speicher (M103) und einem A/D-Wandler (M102), der so konfiguriert ist, dass er die durch das Bildaufnahmegerät (M101) erzeugten Bilddaten, die analoge Daten sind, in digitale Daten umwandelt und die digitalen Daten in dem Speicher speichert, wobei die Kantenerfassungssektion (M104) so konfiguriert ist, dass sie aus den im Speicher gespeicherten digitalen Daten die Erfassungsbilddaten erzeugt. - Eingebautes Bildverarbeitungsgerät für Fahrzeuge nach einem der
Ansprüche 2 bis12 , wobei das Ausgabegerät (M200) ein automatisches Fahrsystem ist, um die Bewegung eines Fahrzeugs, welches das Bildaufnahmegerät trägt, in Antwort auf den wenigstens einen Merkmalspunkt zu steuern.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007192277A JP4937030B2 (ja) | 2007-07-24 | 2007-07-24 | 車両用画像処理装置 |
JP2007-192277 | 2007-07-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102008034304A1 DE102008034304A1 (de) | 2009-04-16 |
DE102008034304B4 true DE102008034304B4 (de) | 2023-08-10 |
Family
ID=40295386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102008034304.8A Active DE102008034304B4 (de) | 2007-07-24 | 2008-07-23 | Bildverarbeitungsgerät |
Country Status (3)
Country | Link |
---|---|
US (1) | US8116523B2 (de) |
JP (1) | JP4937030B2 (de) |
DE (1) | DE102008034304B4 (de) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8699754B2 (en) * | 2008-04-24 | 2014-04-15 | GM Global Technology Operations LLC | Clear path detection through road modeling |
JP4780534B2 (ja) * | 2009-01-23 | 2011-09-28 | トヨタ自動車株式会社 | 道路区画線検出装置 |
DE102009003697A1 (de) * | 2009-03-30 | 2010-10-07 | Conti Temic Microelectronic Gmbh | Verfahren und Vorrichtung zur Fahrspurerkennung |
JP5461065B2 (ja) * | 2009-05-21 | 2014-04-02 | クラリオン株式会社 | 現在位置特定装置とその現在位置特定方法 |
JP5365440B2 (ja) * | 2009-09-15 | 2013-12-11 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
KR101219730B1 (ko) | 2010-10-29 | 2013-01-08 | 재단법인대구경북과학기술원 | 카메라를 이용한 운전 부주의 경보 방법 및 장치 |
TWI452540B (zh) * | 2010-12-09 | 2014-09-11 | Ind Tech Res Inst | 影像式之交通參數偵測系統與方法及電腦程式產品 |
KR20120127830A (ko) | 2011-05-16 | 2012-11-26 | 삼성전자주식회사 | 차량용 단말을 위한 사용자 인터페이스 방법 및 장치 |
WO2012169029A1 (ja) * | 2011-06-08 | 2012-12-13 | トヨタ自動車株式会社 | 車線逸脱防止支援装置、区分線表示方法、プログラム |
US10678259B1 (en) * | 2012-09-13 | 2020-06-09 | Waymo Llc | Use of a reference image to detect a road obstacle |
JP6328369B2 (ja) * | 2012-11-27 | 2018-05-23 | クラリオン株式会社 | 車載用制御装置 |
KR20150042417A (ko) * | 2013-10-11 | 2015-04-21 | 주식회사 만도 | 촬영부를 이용한 차선검출방법 및 차선검출시스템 |
EP3100206B1 (de) | 2014-01-30 | 2020-09-09 | Mobileye Vision Technologies Ltd. | Systeme und verfahren zur detektion des endes einer fahrspur |
EP2918974B1 (de) * | 2014-03-11 | 2019-01-16 | Volvo Car Corporation | Verfahren und System zur Bestimmung der Position eines Fahrzeugs |
FR3019359B1 (fr) | 2014-03-31 | 2017-10-06 | Continental Automotive France | Procede de determination d'un etat d'obstruction d'au moins une camera embarquee dans un systeme stereoscopique |
JP6130809B2 (ja) * | 2014-04-25 | 2017-05-17 | 本田技研工業株式会社 | 車線認識装置 |
CN104504382B (zh) * | 2015-01-13 | 2018-01-19 | 东华大学 | 一种基于图像处理技术的火焰识别算法 |
EP3098753A1 (de) * | 2015-05-28 | 2016-11-30 | Tata Consultancy Services Limited | Fahrbahnerkennung |
US9478137B1 (en) * | 2015-06-17 | 2016-10-25 | Ford Global Technologies, Llc | Detecting and communicating lane splitting maneuver |
US10181266B2 (en) * | 2015-09-11 | 2019-01-15 | Sony Corporation | System and method to provide driving assistance |
JP6466811B2 (ja) * | 2015-09-30 | 2019-02-06 | 株式会社Soken | 走行区画線認識装置 |
CN105426864B (zh) * | 2015-12-04 | 2018-09-04 | 华中科技大学 | 一种基于等距边缘点匹配的多车道线检测方法 |
CN105740805B (zh) * | 2016-01-27 | 2019-06-07 | 大连楼兰科技股份有限公司 | 一种基于多区域联合车道线检测方法 |
US10962982B2 (en) * | 2016-07-21 | 2021-03-30 | Mobileye Vision Technologies Ltd. | Crowdsourcing the collection of road surface information |
KR102499398B1 (ko) * | 2017-08-09 | 2023-02-13 | 삼성전자 주식회사 | 차선 검출 방법 및 장치 |
US10860021B2 (en) * | 2017-12-15 | 2020-12-08 | Wipro Limited | Method and system for guiding an autonomous vehicle in a forward path in real-time |
CN109034047B (zh) * | 2018-07-20 | 2021-01-22 | 京东方科技集团股份有限公司 | 一种车道线检测方法及装置 |
TWI705011B (zh) * | 2019-03-12 | 2020-09-21 | 緯創資通股份有限公司 | 車載鏡頭偏移檢測方法與車載鏡頭偏移檢測系統 |
DE102020120405A1 (de) | 2020-08-03 | 2022-02-03 | Valeo Schalter Und Sensoren Gmbh | Klassifizieren einer Straßenmarkierung |
US11315429B1 (en) * | 2020-10-27 | 2022-04-26 | Lear Corporation | System and method for providing an alert to a driver of a host vehicle |
JP2022123238A (ja) * | 2021-02-12 | 2022-08-24 | 本田技研工業株式会社 | 区画線認識装置 |
CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0361914A2 (de) | 1988-09-28 | 1990-04-04 | Honda Giken Kogyo Kabushiki Kaisha | Verfahren und Vorrichtung zur Einschätzung des Fahrweges |
US5555312A (en) | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
US5555555A (en) | 1993-01-19 | 1996-09-10 | Aisin Seiki Kabushiki Kaisha | Apparatus which detects lines approximating an image by repeatedly narrowing an area of the image to be analyzed and increasing the resolution in the analyzed area |
JP2712809B2 (ja) | 1990-10-15 | 1998-02-16 | 日産自動車株式会社 | 車両用障害物検出装置 |
DE10043467A1 (de) | 1999-09-03 | 2001-04-26 | Nec Corp | System zum Ermitteln einer weißen Straßenlinie, Verfahen zum Ermitteln einer weißen Straßenlinie und Speichermedium zum Speichern eines Programms zum Ermitteln einer weißen Straßenlinie |
DE10161967A1 (de) | 2000-12-27 | 2002-07-18 | Hyundai Motor Co Ltd | Verfahren zum Erfassen einer gekrümmten Fahrspur für ein Straßen-Modellier-System |
JP2003308534A (ja) | 2002-04-18 | 2003-10-31 | Denso Corp | 白線認識装置 |
DE102004043794A1 (de) | 2004-01-29 | 2005-08-25 | Fujitsu Ltd., Kawasaki | Verfahren und Gerät zum Bestimmen der Fahrspur eines Fahrzeuges, sowie ein Computerprodukt |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4970653A (en) * | 1989-04-06 | 1990-11-13 | General Motors Corporation | Vision method of detecting lane boundaries and obstacles |
US5309137A (en) * | 1991-02-26 | 1994-05-03 | Mitsubishi Denki Kabushiki Kaisha | Motor car traveling control device |
US5448484A (en) * | 1992-11-03 | 1995-09-05 | Bullock; Darcy M. | Neural network-based vehicle detection system and method |
JP3374570B2 (ja) * | 1995-01-31 | 2003-02-04 | いすゞ自動車株式会社 | 車線逸脱警報装置 |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
JP2887039B2 (ja) * | 1993-03-26 | 1999-04-26 | 三菱電機株式会社 | 車両周辺監視装置 |
JP3059035B2 (ja) * | 1993-12-14 | 2000-07-04 | 三菱電機株式会社 | 距離測定装置 |
JP3205477B2 (ja) * | 1994-02-17 | 2001-09-04 | 富士フイルムマイクロデバイス株式会社 | 車間距離検出装置 |
JP3246243B2 (ja) * | 1994-12-26 | 2002-01-15 | いすゞ自動車株式会社 | 車線逸脱警報装置 |
JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
JPH1153694A (ja) * | 1997-07-31 | 1999-02-26 | Toyota Motor Corp | 交差点警報装置 |
JP3589037B2 (ja) * | 1998-08-18 | 2004-11-17 | 三菱自動車工業株式会社 | 運転支援装置 |
JP3596314B2 (ja) * | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
JP3671825B2 (ja) * | 2000-09-22 | 2005-07-13 | 日産自動車株式会社 | 車間距離推定装置 |
JP3645177B2 (ja) * | 2000-11-29 | 2005-05-11 | 三菱電機株式会社 | 車両周辺監視装置 |
KR100435650B1 (ko) * | 2001-05-25 | 2004-06-30 | 현대자동차주식회사 | 카메라가 장착된 차량의 도로정보 추출 및 차간거리 탐지방법 |
JP2003081037A (ja) * | 2001-09-14 | 2003-03-19 | Toshiba Corp | 交通事故防止装置 |
JP4016735B2 (ja) * | 2001-11-30 | 2007-12-05 | 株式会社日立製作所 | レーンマーク認識方法 |
JP4037722B2 (ja) * | 2002-09-18 | 2008-01-23 | 富士重工業株式会社 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
JP4059151B2 (ja) * | 2003-06-10 | 2008-03-12 | 日産自動車株式会社 | 車載情報提供装置 |
JP3982503B2 (ja) * | 2004-01-21 | 2007-09-26 | 日産自動車株式会社 | 車両用走行制御装置 |
JP2006268097A (ja) * | 2005-03-22 | 2006-10-05 | Nissan Motor Co Ltd | 車載物体検出装置、および物体検出方法 |
JP2006344133A (ja) * | 2005-06-10 | 2006-12-21 | Toyota Motor Corp | 道路区画線検出装置 |
US7623681B2 (en) * | 2005-12-07 | 2009-11-24 | Visteon Global Technologies, Inc. | System and method for range measurement of a preceding vehicle |
JP4791262B2 (ja) * | 2006-06-14 | 2011-10-12 | 本田技研工業株式会社 | 運転支援装置 |
-
2007
- 2007-07-24 JP JP2007192277A patent/JP4937030B2/ja active Active
-
2008
- 2008-07-22 US US12/219,432 patent/US8116523B2/en active Active
- 2008-07-23 DE DE102008034304.8A patent/DE102008034304B4/de active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0361914A2 (de) | 1988-09-28 | 1990-04-04 | Honda Giken Kogyo Kabushiki Kaisha | Verfahren und Vorrichtung zur Einschätzung des Fahrweges |
JP2712809B2 (ja) | 1990-10-15 | 1998-02-16 | 日産自動車株式会社 | 車両用障害物検出装置 |
US5555555A (en) | 1993-01-19 | 1996-09-10 | Aisin Seiki Kabushiki Kaisha | Apparatus which detects lines approximating an image by repeatedly narrowing an area of the image to be analyzed and increasing the resolution in the analyzed area |
US5555312A (en) | 1993-06-25 | 1996-09-10 | Fujitsu Limited | Automobile apparatus for road lane and vehicle ahead detection and ranging |
DE10043467A1 (de) | 1999-09-03 | 2001-04-26 | Nec Corp | System zum Ermitteln einer weißen Straßenlinie, Verfahen zum Ermitteln einer weißen Straßenlinie und Speichermedium zum Speichern eines Programms zum Ermitteln einer weißen Straßenlinie |
DE10161967A1 (de) | 2000-12-27 | 2002-07-18 | Hyundai Motor Co Ltd | Verfahren zum Erfassen einer gekrümmten Fahrspur für ein Straßen-Modellier-System |
JP2003308534A (ja) | 2002-04-18 | 2003-10-31 | Denso Corp | 白線認識装置 |
DE102004043794A1 (de) | 2004-01-29 | 2005-08-25 | Fujitsu Ltd., Kawasaki | Verfahren und Gerät zum Bestimmen der Fahrspur eines Fahrzeuges, sowie ein Computerprodukt |
Also Published As
Publication number | Publication date |
---|---|
JP2009029171A (ja) | 2009-02-12 |
JP4937030B2 (ja) | 2012-05-23 |
US20090028388A1 (en) | 2009-01-29 |
US8116523B2 (en) | 2012-02-14 |
DE102008034304A1 (de) | 2009-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008034304B4 (de) | Bildverarbeitungsgerät | |
DE102005000646B4 (de) | Vorrichtung und Verfahren zum Erfassen von sich bewegenden Objekten | |
DE3854996T2 (de) | Anlage und Verfahren zur Zellbildverarbeitung | |
DE69715076T2 (de) | Vorrichtung zur Erzeugung eines Binärbildes | |
DE102005063199B4 (de) | Vorrichtung und Verfahren zur Erkennung von Straßenmarkierungen | |
DE102009005861B4 (de) | Fahrzeugumgebungs-Erkennungssystem | |
DE102015205225A1 (de) | Verfahren und Vorrichtung zum Erkennen eines Zielobjekts im toten Winkel eines Fahrzeugs | |
DE69211217T2 (de) | Abstandsmessgerät | |
DE69519361T2 (de) | Elektronischer Bildstabilisator und damit versehene Kamera | |
DE102005015837A1 (de) | Fahrspurerfassungsvorrichtung | |
DE60217589T2 (de) | Vorrichtung und Verfahren zur Detektion von weissen Linien | |
DE102014209137A1 (de) | Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs | |
DE102014117102B4 (de) | Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems | |
DE2858688C2 (de) | ||
DE102013112040B4 (de) | System und Verfahren zum Auffinden von sattelpunktartigen Strukturen in einem Bild und Bestimmen von Informationen daraus | |
EP2555160A1 (de) | Erzeugung eines in interessante und uninteressante Bereiche vorsegmentierten Bildes | |
EP3625160B1 (de) | System und verfahren zur bestimmung der position einer aufzugkabine einer aufzuganlage | |
EP2856390A1 (de) | Verfahren und vorrichtung zur verarbeitung stereoskopischer daten | |
DE69029429T2 (de) | Binäres Bildreduzierungsverfahren | |
DE19948608A1 (de) | Verfahren und Vorrichtung zum Erfassen eines Fahrzeugs | |
DE102012024878A1 (de) | Verfahren zum Detektieren eines Zielobjekts anhand eines Kamerabilds durch Clusterbildung aus mehreren benachbarten Bildzellen, Kameraeinrichtung und Kraftfahrzeug | |
DE69627424T2 (de) | Bildverarbeitungsverfahren und Gerät | |
DE69129908T2 (de) | Verfahren zur helligkeitsverbesserung | |
DE102005025220B4 (de) | Gerät, Verfahren und Programm zum Beseitigen von Poren | |
EP4049445B1 (de) | Verfahren zur erzeugung eines ausgabesignals eines pdaf-bildpunkts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R082 | Change of representative |
Representative=s name: GLAWE DELFS MOLL - PARTNERSCHAFT VON PATENT- U, DE |
|
R081 | Change of applicant/patentee |
Owner name: RENESAS ELECTRONICS CORPORATION, JP Free format text: FORMER OWNER: NEC ELECTRONICS CORP., KAWASAKI, KANAGAWA, JP Effective date: 20120828 Owner name: RENESAS ELECTRONICS CORPORATION, KAWASAKI-SHI, JP Free format text: FORMER OWNER: NEC ELECTRONICS CORP., KAWASAKI, KANAGAWA, JP Effective date: 20120828 Owner name: RENESAS ELECTRONICS CORPORATION, JP Free format text: FORMER OWNER: NEC ELECTRONICS CORP., KAWASAKI, JP Effective date: 20120828 |
|
R082 | Change of representative |
Representative=s name: GLAWE DELFS MOLL PARTNERSCHAFT MBB VON PATENT-, DE Effective date: 20120828 Representative=s name: GLAWE DELFS MOLL - PARTNERSCHAFT VON PATENT- U, DE Effective date: 20120828 |
|
R081 | Change of applicant/patentee |
Owner name: RENESAS ELECTRONICS CORPORATION, JP Free format text: FORMER OWNER: RENESAS ELECTRONICS CORPORATION, KAWASAKI-SHI, KANAGAWA, JP |
|
R082 | Change of representative |
Representative=s name: GLAWE DELFS MOLL PARTNERSCHAFT MBB VON PATENT-, DE |
|
R016 | Response to examination communication | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009620000 Ipc: G06V0030190000 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030190000 Ipc: G06V0020580000 |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R082 | Change of representative |
Representative=s name: GLAWE DELFS MOLL PARTNERSCHAFT MBB VON PATENT-, DE |
|
R020 | Patent grant now final |