-
Die
vorliegende Erfindung betrifft allgemein eine Fahrspurmarkierungserkennungsvorrichtung
für Fahrzeuge,
die dafür
vorgesehen ist, eine Fahrspurmarkierung, die auf einer Straßenoberfläche aufgedruckt
ist, präzise
unter Verwendung eines Bildes eines Ausblicks nach vorne, das von
einer Kamera aufgenommen wird, zu erkennen.
-
In
den letzten Jahren sind Automobilfahrspurmarkierungserkennungstechniken
entwickelt worden, die weiße
oder gelbe Fahrspurmarkierungen, die auf einer Verkehrsspur aufgedruckt
sind, unter Verwendung eines aufgenommenen Bildes eines Ausblicks
nach vorne von einem Fahrzeug aus erkennen, um eine automatische
Reisekontrolle des Fahrzeuges zu realisieren. Zum Beispiel lehrt
die japanische Erstveröffentlichung
Nr. JP 5-289743 A Binär-Codierung
eines aufgenommenen Bildes, um eine Fahrspurmarkierung zu erkennen. Die
japanische Erstveröffentlichung
Nr. JP 7-239996 A
lehrt eine Verarbeitung der Kanten eines aufgenommenen Bildes vor
der Binär-Codierung
des Bildes. Die japanische Erstveröffentlichung Nr. 6-215292 schlägt die Verwendung
der Hough-Transformation
bei der Bildverarbeitung vor.
-
Der
Artikel „Finding
and tracking road lanes using ,line snakes'" von
Dong Jung Kang et al, aus: Intelligent Vehicles Symposium, 1996,
Proceedings of the 1996 IEEE, 19.–20. September 1996, Seiten 189
bis 194, der als nächstkommender
Stand der Technik angesehen wird, offenbart ein Verfahren zum Auffin den
und Verfolgen von Fahrspuren. Die Ränder der Fahrspuren werden
durch eine Kombination der Hough-Transformation
mit dem „Active
Line Model (ALM)" extrahiert
und verfolgt. Die Hough-Transformation
wird dabei genutzt, um vorbeiziehende Punkte der Straße zu extrahieren,
welche die Richtung des Fahrzeugs anzeigen. Auf einer gekrümmten Straße wird
diese grobe Näherung
durch „line
snakes" bzw. deformierbare
Konturmodelle der Straßenmarkierungen
zur präzisen
Feststellung der Straßenränder verbessert.
Nach der Initialisierung der „line snake" zu Beginn der Fahrt über die
Hough-Transformation
werden die Straßenspuren über interne
und externe Kräfte
verfolgt, die aus Bildern und einer Technik zum Verfeinern der Ränder berechnet
werden.
-
In „A fast
algorithm for active contours",
von Williams, D.J. und Shah, M, aus: Computer Vision, 1990. Proceedings
of the 1990 IEEE, 4. Bis 7. Dezember 1990, Seiten 592 bis 595, wird
ein Algorithmus vorgestellt, der vergleichbare Ergebnisse liefert wie
ein bereits bekannter, von Kass et al. vorgestellter und von Amini
et al. verbesserter Algorithmus, der auf einer Energiefunktion basiert,
jedoch aufgrund reduzierter Komplexität deutlich schneller als die
genannten Algorithmen ist.
-
In „Active
Contour Model: Overview, implementation and applications" beschreiben Menet,
S.; Saint-Marc,
P.; Medioni, G.; in Systems, Man and Cybernetics, 1990. Conference
Proceedings, IEEE International Conference, 4. bis 7. November 1990, Seiten
194 bis 199 eine kurze Übersicht
der vorstehend erwähnten „snakes" als energieminimierende Kurven,
die in vielen Bereichen, unter anderem bei der Bewegungsverfolgung,
nützlich
sein können, wenn
ein verform bares Modell mittels Energieminimierung an ein Bild angepasst
werden soll.
-
Die
obigen Systeme nach dem Stand der Technik stoßen jedoch auf Nachteile in
Bezug auf die folgenden zwei Punkte.
-
Der
erste betrifft ein Problem bei der Binär-Codierung. Ein System, wie es in der
obigen Veröffentlichung
Nr. JP 5-289743 A oder Nr. JP 7-2239996 A gelehrt wird, das ein
Originalbild oder ein Kantenverarbeitetes Bild binär codiert,
kann durch die Binär-Codierung
nützliche
Fahrspurmarkierungsda ten oder Kantendaten einer Fahrspurmarkierung
löschen,
insbesondere wenn das Bild einen niedrigen Kontrast besitzt und
instabil ist, empfindlich gegenüber
einer Änderung
in den Umweltbedingungen. Wenn die Daten einmal gelöscht sind,
ist es schwierig, sie wieder zurückzugewinnen.
Ein System, wie es in der Veröffentlichung
Nr. JP 6-215292 A gelehrt wird und die Hough-Transformation verwendet,
erfordert eine Binär-Codierung
eines Bildes und ist ebenfall sensitiv gegenüber einer Änderung in den Umweltbedingungen. Üblicherweise
erfordert die Hough-Transformation
eine große
Anzahl von Berechnungen, welches Probleme in Bezug auf die Verarbeitungszeit
und die Größe der Hardware
verursacht. Eine anwendbare bzw. praktikable Hough-Transformationstechnik
kann nur eine gerade Linie erkennen bzw. detektieren. Es gibt eine
weitere Hough-Transformationstechnik, die in der Lage ist, Kurven
zu detektieren, aber sie ist unpraktikabel in Bezug auf die Menge
an Berechnungen. Die Verwendung der Hough-Transformation beim Erkennen
einer Fahrspurmarkierung erfordert folglich irgendeine zusätzliche
Technik zum Detektieren gekrümmter Teilbereiche
eines Bildes der Fahrspurmarkierung.
-
Der
zweite Punkt betrifft ein Problem, das mit der sog. "dot-to-line"-Bildverarbeitung
bzw. "Punkt-zu-Linie"-Bildverarbeitung
(englisch: dot-to-line image processing) zusammenhängt. Zur Identifizierung
einer Fahrspurmarkierung in einem aufgenommenen Bild ist es erforderlich,
Kandidaten für
Kanten der Fahrspurmarkierung, d.h. Punkte (englisch: dots), die
mittels Binär-Codierung
des Bildes extrahiert werden, zu verfolgen bzw. aufzuspüren, d.h.
die extrahierten Punkte zu verbinden, um eine Linie (d.h. Bild einer
Fahrspurmarkierung) zu definieren. Falls jedoch eine andere Kante
nahe des Bildes der Fahr spurmarkierung existiert, so wird dies zu einem
Fehler beim Verfolgen bzw. Aufspüren
der Kandidaten für
Kanten führen.
wenn es beispielsweise erforderlich ist, eine weiße Linie
zu identifizieren, die auf einer Straße aufgedruckt ist, und wenn
sich ein weißer
Wagen auf der Straße
fortbewegt, so kann der Wagen eine Kante nahe des Bildes der weißen Linie
bilden, was zu einem Fehler beim Verfolgen bzw. Aufspüren der
Kandidaten für
Kanten der Linie führt.
-
Es
ist folglich eine Hauptaufgabe der vorliegenden Erfindung, die Nachteile
des Standes der Technik zu vermeiden.
-
Es
ist eine weitere Aufgabe der vorliegenden Erfindung, eine Fahrspurmarkierungserkennungsvorrichtung
für Fahrzeuge
bereitzustellen, die dafür vorgesehen
ist, eine Fahrspurmarkierung, die auf einer Straße aufgedruckt ist, präzise unter
Verwendung von Bildverarbeitung zu erkennen.
-
Die
Lösung
dieser Aufgaben erfolgt durch die Merkmale des Anspruchs 1.
-
Gemäß einem
ersten Aspekt der vorliegenden Erfindung wird eine Fahrspurmarkierungserkennungsvorrichtung
für ein
Fahrzeug nach Anspruch 1 bereitgestellt.
-
Im
bevorzugten Modus der Erfindung ist das Maß bzw. der Maßstab für die Bildeigenschaft
eine Helligkeit pro Pixel in dem Bild.
-
Das
Maß bzw.
der Maßstab
für die
Bildeigenschaft kann alternativ eine Farbart bzw. Farbmeßzahl bzw.
ein Farbwert pro Pixel in dem Bild sein.
-
Die
Verbindungslinien besitzen dieselbe physikalische Eigenschaft. Die
Längen
der Verbindungslinien sind bei Annäherung an das untere Ende des Bildes
verlängert
bzw. länger,
um so die Reaktionskräfte
bzw. Rückwirkungskräfte zum
Beibehalten der Geometrie des gesamten Kettenmodells zu erhöhen.
-
Die
Längen
der Verbindungslinien können untereinander
identisch sein. In diesem Fall besitzen die Verbindungslinien Elastizitätsmodule,
die bei Annäherung
an das untere Ende des Bildes größer werden,
um so die Reaktionskräfte
zum Beibehalten der Geometrie des gesamten Kettenmodells zu erhöhen.
-
Bereiche,
innerhalb derer die Kettenkomponenten auf die anziehenden Kräfte reagieren,
sind bei Annäherung
an ein unteres Ende des Bildes verbreitert bzw. breiter.
-
Der
Fahrspurmarkierungserkennungsschaltkreis bestimmt, daß das Kettenmodell
bei der Fahrspurmarkierung in dem Bild konvergiert ist bzw. sich dem
Ort der Fahrspurmarkierung konvergierend angenähert hat, falls eine vorgegebene
Bedingung erfüllt
ist.
-
Die
vorgegebene Bedingung wird durch eine Bewertungsgleichung in Ausdrücken bzw.
Begriffen des Maßes
für die
Bildeigenschaft der Fahrspurmarkierung repräsentiert.
-
Die
vorgegebene Bedingung kann alternativ durch eine Bewertungsgleichung
in Ausdrücken
bzw. Begriffen der anziehenden Kraft, die auf jede der Kettenkomponenten
einwirkt, repräsentiert
werden.
-
Der
Fahrspurmarkierungserkennungsschaltkreis führt einen ersten Schritt des
Bestimmens einer Zielversetzung für jede der Kettenkomponenten
auf der Grundlage der darauf einwirkenden anziehenden Kraft und
einen zweiten Schritt des Verschiebens jeder der Kettenkomponenten
um die Zielversetzung durch. Der Fahrspurmarkierungserkennungsschaltkreis
bestimmt, daß die
vorgegebene Bedingung erfüllt
ist, wenn der erste und zweite Schritt eine vorgegebene Anzahl mal
durchgeführt
worden sind.
-
Weitere
Einzelheiten, Merkmale und Vorteile der Erfindung sowie ein vollständigeres
Verständnis ergeben
sich aus der nachfolgenden ausführlichen Beschreibung
und den beigefügten
Zeichnungen der bevorzugten Ausführungsform
der vorliegenden Erfindung.
-
Es
zeigen:
-
1 ein
Blockdiagramm, welches eine Fahrspurmarkierungserkennungsvorrichtung
für ein Fahrzeug
gemäß der vorliegenden
Erfindung zeigt;
-
2 eine
Veranschaulichung, welche einen Bildaufnahmebereich einer CCD-Kamera,
die in einem Fahrzeug angebracht ist, zeigt;
-
3a eine Veranschaulichung, die eine Beziehung
zwischen den Kettenkomponenten eines Kettenmodells und den auf die
Komponenten einwirkenden anziehenden Kräften zeigt;
-
3b eine Veranschaulichung, die eine Entfernungsbeziehung
zwischen jeweils zwei benachbarten Kettenkomponenten in einem aufgenommenen
Bild zeigt;
-
3c eine Veranschaulichung, welche einen
Bereich zeigt, in dem jede Kettenkomponente in einem aufgenommenen
Bild bewegt werden kann;
-
4 ein
Flußdiagramm
eines Fahrspurmarkierungserkennungsprogramms, das von der Fahrspurmarkierungserkennungsvorrichtung
in 1 durchgeführt
wird;
-
5a eine Veranschaulichung, welche die Orientierung
eines Kettenmodells in einem aufgenommenen Bild zeigt; und
-
5b eine vergrößerte Ansicht, welche einen
Teilbereich des Bildes, wie es in 5a gezeigt ist,
umschlossen von einer gestrichelten Linie, zeigt.
-
In
den Figuren, insbesondere 1, ist ein Fahrspurmarkierungserkennungssystem 2 gemäß der vorliegenden
Erfindung gezeigt, welches in einem sich selbst bewegenden Fahrzeug
bzw. Kraftfahrzeug installiert ist, um Fahrspurmarkierungen zu erkennen,
die auf einer Straße
aufgedruckt sind, damit ein Fahrzeugbediener einen sich vor dem
Fahrzeug fortbewegenden Teilbereich der Straße visuell wahrnimmt, und daß in einer
automatischen Reisekontrolle verwendet werden kann.
-
Das
Fahrspurmarkierungserkennungssystem 2 besteht im wesentlichen
aus einer CCD-Kamera 10 und einem Bildprozessor 20.
Die CCD-Kamera 10 ist, z.B., an der Decke über dem
Sitz des Fahrers in einer Fahrzeugkabine angebracht und nimmt ein Bild
mit Blick nach vorne auf, wie in 2 gezeigt. Wenn
sich das Fahrzeug auf einer Straße fortbewegt, nimmt die CCD-Kamera 10 ein
Bild auf, das eine Straßenoberfläche in einem
vorgegebenen räumlichen
Abstand vor dem Fahrzeug umfaßt.
-
Der
Bildprozessor 20 umfaßt
einen A/D-Wandler (ADC) 21, einen vorverarbeitenden anwendungsspezifischen
integrierten Schaltkreis bzw. Vorverarbeitungs-ASIC (Application
Specific Integrated Circuit) 22, einen Bildspeicher 23,
eine CPU 24, einen ROM 25, einen RAM 26 und
einen Übertragungs-IC 27.
-
Der
A/D-Wandler (ADC) 21 wandelt ein von der CCD-Kamera 10 ausgegebenes
analoges Bildsignal in digitale Bilddaten um. Der Vorverarbeitungs-ASIC 22 unterwirft
die Bilddaten von dem A/D-Wandler 21 einer vorgegebenen
Verarbeitung wie z.B. einer Rauschfilterung bzw. Entstörfilterung, einer
Konturverstärkung,
welche eine Kante verstärkt bzw.
hervorhebt, oder einer Kombination davon. Der Bildspeicher 23 speichert
darin die von dem ASIC 22 ausgegebenen Bilddaten. Die CPU 24 führt ein
Programm aus, wie später
diskutiert werden wird, das im ROM 25 installiert ist,
um eine Fahrspurmarkierung in den im Bildspeicher 23 gespeicherten
Bilddaten auf logische Weise unter Verwendung des RAM 26 zu
erkennen. Der Übertragungs-IC 27 gibt
ein Signal aus, das die Ergebnisse der Erkennung der Fahrspurmarkierung
anzeigt bzw. kennzeichnet.
-
Die
CPU 24 verwendet ein Kettenmodell (englisch: string model)
beim Erkennen einer Fahrspurmarkierung in einem in dem Bildspeicher 23 gespeicherten
Bild und identifiziert einen Ort in dem Bild, bei dem das Kettenmodell
konvergiert bzw. sich einem Ort einer Fahrspurmarkierung konvergierend annähert, als
einen Ort der Fahrspurmarkierung. Das in dieser Ausführungsform
verwendete Kettenmodell wird ausführlich unter Bezugnahme auf
die 3(a) bis 3(c) diskutiert
werden.
-
Das
Kettenmodell besteht aus einer Vielzahl von Kettenkomponenten (d.h.
Punkten [englisch: dots]) und Verbindungslinien, die jeweils zwei
benachbarte Kettenkomponenten verbinden. Diese Ausführungsform,
wie in 3(a) gezeigt, definiert das
Kettenmodell unter Verwendung von sechs Kettenkomponenten und fünf Verbindungslinien.
-
Jede
Kettenkomponente wird durch eine anziehende Kraft bewegt, die in
Abhängigkeit
von einem Maß für die Bildeigenschaft
einer Fahrspurmarkierung in einem aufgenommenen Bild erzeugt bzw. hervorgerufen
wird. Diese Ausführungsform
verwendet die Helligkeit pro Pixel eines aufgenommen Bildes als
das Maß bzw.
den Meßwert
für die
Bildeigenschaft einer Fahrspurmarkierung. Jede Kettenkomponente
wird durch die anziehende Kraft proportional zu der Helligkeit pro
Pixel versetzt bzw. verschoben. In 3(a) repräsentiert
eine größere Größe eines jeden
Kreises eine höhere
Helligkeit eines Pixels.
-
Genauer
gesagt wird jede Kettenkomponente zu einem Pixel eines aufgenommen
Bildes bewegt, das eine größere anziehende
Kraft proportional zu dessen Helligkeit erzeugt, d.h., einem helleren
Teilbereich des Bildes. Üblicherweise
bestehen Fahrspurmarkierungen, die auf einer typischen Straße aufgedruckt
sind, aus weißen
Linien und bilden hellere Bereiche der Straßenoberfläche. Die Kettenkomponenten
werden folglich zu einem Bereich des Bildes hingezogen, der von
einer benachbarten Fahrspurmarkierung gesetzt ist.
-
Ein
Ort einer jeden Kettenkomponente hängt ebenfalls von einem Ort
bzw. den Orten einer benachbarten Kettenkomponente bzw. benachbarter Kettenkomponenten
ab, mit der bzw. denen sie durch die Verbindungslinien verbunden
ist. Diese Ausführungsform
gibt jeder Verbindungslinie eine physikalische Eigenschaft eines
elastischen Teiles, die eine Reaktionskraft bzw. Rückwirkungskraft
in Abhängigkeit
von einem Maß bzw.
Meßwert
für die
Deformation der Verbindungslinie erzeugt, um die Gestalt oder Geometrie
des gesamten Kettenmodells konstant zu halten. Die folgende Diskussion
wird auf eine Feder als ein Beispiel für das elastische Teil verweisen.
-
Wenn
jede Kettenkomponente, wie in 3(a) gezeigt,
durch die anziehende Kraft bewegt wird, die von einem benachbarten
Pixel erzeugt wird, wird sie bewirken, daß die Verbindungslinie bzw.
Verbindungslinien, die sie mit einer benachbarten Kettenkomponente
bzw. benachbarten Kettenkomponenten verbinden, verlängert bzw.
gedehnt oder komprimiert bzw. gestaucht werden, wodurch eine Rückstellkraft
erzeugt wird, welche auf die Kettenkomponenten als eine Reaktionskraft
gegen die anziehende Kraft einwirkt, um die Geometrie des gesamten
Kettenmodells konstant zu halten. Genauer gesagt wird der Ort des
gesamten Kettenmodells durch ein Gleichgewicht zwischen der anziehenden Kraft,
die proportional zu der Helligkeit pro Pixel erzeugt wird und auf
jede Kettenkomponente einwirkt, und der Federkraft einer jeden Verbindungslinie
bestimmt. Dies vermeidet Fehler beim Verfolgen bzw. Aufspüren von
Kandidaten für
Kanten einer Fahrspurmarkierung in einem aufgenommenen Bild infolge
von Kanten, die nahe der Fahrspurmarkierung vorkommen. Genauer gesagt,
falls jede Kettenkomponente so definiert ist, daß sie sich nur einem helleren
Bereich eines aufgenommenen Bildes annähert, kann sie sich in Richtung
eines hellen Teilbereiches des Bildes anstatt einer Fahrspurmarkierung
bewegen, aber dieser Fehler wird eliminiert durch die Bestimmung
des Ortes des gesamten Kettenmodells bzw. der Gesamtheit des Kettenmodells
auf der Grundlage eines Gleichgewichts zwischen der anziehenden
Kraft, die proportional zu der Helligkeit pro Pixel hervorgerufen
wird, und der Federkraft einer jeden Verbindungslinie.
-
Grundsätzlich wird
die Erkennung einer Fahrspurmarkierung durch die Bestimmung eines Teilbereiches
eines Bildes als einen Ort einer Fahrspurmarkierung erreicht, bei
dem das Kettenmodell, das die oben beschriebenen Eigenschaften besitzt, konvergiert
ist bzw. sich dem Ort einer Fahrspurmarkierung konvergierend angenähert hat,
aber diese Ausführungsform
verbessert sie weiterhin in Bezug auf die folgenden zwei Punkte,
um eine noch präzisere
Erkennung einer Fahrspurmarkierung zu realisieren.
-
Die
erste Verbesserung wird im folgenden diskutiert werden. Die CCD-Kamera 10 ist,
wie schon beschrieben, an der Decke einer Fahrzeugkabine angebracht.
Mit anderen Worten, die CCD-Kamera wird bei einer Höhe von bis
zu ungefähr
2m plaziert. Folglich wird, wenn eine Straße, die mit einer konstanten Krümmung gekrümmt ist,
wie in 5(a) gezeigt, von der CCD-Kamera 10 aufgenommen
wird, die Krümmung
der Straße
in dem aufgenommen Bild in einem unteren Teilbereich des Bildes
kleiner werden, d.h. in einem Teilbereich des Ausblicks bzw. Blickes nach
vorne nahe bei der CCD-Kamera 10 (d.h., dem Fahrzeug),
während
sie in einem oberen Teilbereich des Bildes größer werden wird, d.h., in einem
Teilbereich des Ausblicks bzw. Blickes nach vorne, der fern bzw.
weit weg von der CCD-Kamera 10 ist.
-
Die
Eigenschaften des Kettenmodells werden folglich so eingerichtet,
daß es
jeder Kettenkomponente erlaubt ist bzw. möglich ist, sich nur in einer lateralen
bzw. seitlichen Richtung eines aufgenommenen Bildes zu bewegen,
und eine Haltekraft zum Halten der Geometrie der Gesamtheit des
Kettenmodells bzw. des gesamten Kettenmodells wird erzeugt, welche
bei Annäherung
an einen unteren Teilbereich des Bil des zunimmt bzw. größer wird.
Genauer gesagt wird die Schwierigkeit einer jeden Kettenkomponente
beim Bewegen vergrößert, wenn
man sich einem unteren Ende des Bildes nähert. Bildlich gesprochen wird
dem Kettenmodell eine Flexibilität ähnlich zu
jener einer Angelrute verliehen. Dies bewahrt das Kettenmodell vor
einer Änderung
in der Krümmung einer
Straße,
die durch die Ferne und Nähe
in einem von der CCD-Kamera 10 aufgenommenen Bild verursacht
wird.
-
Um
das Kettenmodell mit den obigen Eigenschaften zu versehen, werden
die physikalischen Eigenschaften aller Verbindungslinien identisch
zueinander festgesetzt bzw. eingestellt, und der Abstand zwischen
jeweils zwei benachbarten Kettenkomponenten wird bei Annäherung an
das untere Ende eines aufgenommenen Bildes vergrößert. Dies wird im folgenden
ausführlich
unter Bezugnahme auf 3(b) beschrieben
werden.
-
In 3(b) bezeichnen A, B, C, D, E und F die Kettenkomponenten.
In dem aufgenommenen Bild bezeichnet A die oberste Kettenkomponente
und F bezeichnet die unterste Kettenkomponente. Der Abstand zwischen
den Kettenkomponenten A und B ist der kürzeste in dem Kettenmodell,
während
der Abstand zwischen den Kettenkomponenten E und F der längste ist.
Die Federn, die die Verbindungslinien bilden, besitzen dieselbe
Länge und
dieselbe Federkonstante, so daß der
Federdruck, der auf jeweils zwei benachbarte Kettenkomponenten einwirkt,
desto größer wird,
je größer der
Abstand bzw. die Entfernung zwischen den zwei Kettenkomponenten
wird. Die unterste Feder erzeugt folglich den größten Federdruck, um die Geometrie
des gesamten Kettenmodelles vom Ändern
abzuhalten.
-
Der
Abstand zwischen jeweils zwei benachbarten Kettenkomponenten kann
alternativ identisch zueinander gesetzt bzw. eingestellt werden.
In diesem Fall werden die Feder konstanten von der obersten Feder
zu der untersten Feder hin vergrößert bzw. größer.
-
Die
zweite Verbesserung wird im folgenden diskutiert werden.
-
Sogar
falls sich das Fahrzeug auf einer Straße fortbewegt, die eine konstante
Breite besitzt, nimmt die Breite der Straße in einem von der CCD-Kamera 10 aufgenommenen
Bild, wie in 5(a) gezeigt, bei Annäherung an
das untere Ende des Bildes (d.h., der CCD-Kamera 10) zu.
Folglich wird, in Bezug auf die Eigenschaften des Kettenmodells,
ein Bereich, innerhalb dessen jede Kettenkomponente auf die anziehende
Kraft in Abhängigkeit
von der Helligkeit pro Pixel reagiert, in einem unteren Teilbereich
des Bildes verbreitert bzw. breiter. Wie in 3(c) zu
sehen ist, ist ein Anziehungsbereich, innerhalb dessen die unterste
Kettenkomponente F sensitiv in Bezug auf die anziehende Kraft ist, die
durch die Helligkeit pro Pixel erzeugt bzw. hervorgerufen wird,
der breiteste in dem Kettenmodell, während ein Anziehungsbereich,
innerhalb dessen die oberste Kettenkomponente A auf die anziehende Kraft
reagiert, der schmalste in dem Kettenmodell ist, wodurch es ermöglicht wird,
daß jede
Kettenkomponente innerhalb eines geeigneten Bereiches in Übereinstimmung
mit einer tatsächlichen
Breite des Straße
versetzt bzw. verschoben wird.
-
4 ist
ein Flußdiagramm
eines Programmes oder einer Abfolge von logischen Schritten, gespeichert
in dem ROM 25, die durch die CPU 24 durchgeführt werden,
um eine auf einer Straße
aufgedruckte Fahrspurmarkierung zu erkennen. Dieses Programm wird
in regelmäßigen bzw.
konstanten Intervallen ausgeführt,
wenn ein Zündschalter
(nicht gezeigt) umgedreht bzw. aktiviert wird, und wenn in einem
anderen Kontrollschaltkreis bzw. Regelschaltkreis (nicht gezeigt)
Fahrspurmarkierungserkennungsanforderungen erfüllt sind.
-
Nach
dem Eintritt in das Programm schreitet die Routine zu Schritt 110 fort,
wo die Bilddaten eines Bildes bzw. Datenübertragungsblockes aus dem Bildspeicher 23 ausgelesen
und in den RAM 26 eingegeben werden.
-
Die
Routine schreitet zu Schritt 120 fort, wo die Startpositionen
der Kettenkomponenten A bis F des Kettenmodells bestimmt werden.
Den Kettenkomponenten A bis F wird es, wie oben beschrieben, nur
erlaubt, sich in dem Bild in einer horizontalen Richtung zu bewegen,
und sie werden von oben nach unten in einer Reihenfolge A, B, C,
D, E und F angeordnet. Diese Bedingungen bleiben unverändert bis das
Kettenmodell bei einer Fahrspurmarkierung in einem aufgenommenen
Bild konvergiert ist bzw. sich einer Fahrspurmarkierung in einem
aufgenommenen Bild konvergierend angenähert hat. Eine Fahrspurmarkierung
in einem mittels der CCD-Kamera 10 aufgenommenen Bild ist üblicherweise
in einem bestimmten Bereich des Bildes lokalisiert. Zum Beispiel erstreckt
sich, in einem Fall, wo sich ein kontrolliertes bzw. geregeltes
Fahrzeug, das mit der CCD-Kamera 10 ausgerüstet ist,
auf einer linken Fahrspur einer Straße fortbewegt, wie in 5(a) gezeigt, eine Fahrspurmarkierung auf der
linken Seite der Straße von
einem unteren linken Teilbereich zu einem zentralen Teilbereich
eines von der CCD-Kamera 10 aufgenommenen
Bildes. Der Ort der Fahrspurmarkierung in dem Bild bleibt so lange
unverändert,
wie sich die Straße
geradeaus erstreckt, aber falls sich die Straße nach rechts oder nach links
krümmt,
krümmt sich
der entfernteste Teilbereich der Straße von dem zentralen Teilbereich
aus nach rechts oder links. Es ist folglich ratsam, zwecks Leichtigkeit
der Konvergenz des Kettenmodells auf der Fahrspurmarkierung, daß die Startposition
einer jeden Kettenkomponente, wie in 5(a) gezeigt,
in einem linken unteren Teilbereich des Bildes definiert wird. Zum
Beispiel kann das Kettenmodell als Ganzes gerade in einer vertikalen
Richtung in dem linken unteren Teilbereich des Bildes definiert
werden, oder es kann alternativ diagonal mit der obersten Kettenkomponente
A bei einem zentralen Teilbereich des Bildes und der untersten Kettenkomponente
F bei einem linken unteren Teilbereich des Bildes definiert werden.
-
Die
obige Diskussion bezieht sich auf den Fall, bei dem sich das kontrollierte
bzw. gesteuerte Fahrzeug auf der linken Fahrspur einer Straße fortbewegt,
aber in einem Fall, bei dem sich das Fahrzeug auf der rechten Fahrspur
fortbewegt, ist es ratsam, daß die
Startposition des Kettenmodells auf der rechten Seite des Bildes
bestimmt wird. Weiterhin bewegt sich, falls beispielsweise ein automatisch
geführtes Fahrzeug
verwendet wird, ein automatisch geführtes Fahrzeug in einer Fabrik üblicherweise
auf einer Linie (d.h., einer Fahrspurmarkierung), so daß die Linie nahe
der Mitte eines aufgenommenen Bildes angezeigt wird. Es ist folglich
ratsam, daß die
Startposition des Kettenmodells nahe der Mitte des gesamten Bildes
definiert wird.
-
Wieder
bezugnehmend auf 4, nach Schritt 120,
schreitet die Routine zu Schritt 130 fort, wo Faktoren
für die
Anziehung jeder Kettenkomponente zu der Fahrspurmarkierung in dem
Bild in Begriffen bzw. Ausdrücken
der anziehenden Kraft F und der potentiellen Energie E unter Verwendung
der folgenden Beziehungen bestimmt werden. F
= Σ(Pixel-Helligkeit/Entfernung
mit einer Richtung) E = Σ(Pixel-Helligkeit/Entfernung
ohne Richtung)
-
Die
anziehende Kraft F und die potentielle Energie E werden für jede der
Kettenkomponente A bis F berechnet, aber die Anziehungsbereiche,
in denen die Kettenkomponenten A bis F auf die anziehende Kraft
F reagieren, sind, wie in 3(c) beschrieben,
verschieden voneinander. Der Anziehungsbereich der obersten Kettenkomponente
A ist schmaler als irgendein anderer Bereich in dem Kettenmodell,
während
der Anziehungsbereich der untersten Kettenkomponente F breiter als
irgendein anderer Bereich in dem Kettenmodell ist. Folglich werden
als erstes die Komponenten der anziehenden Kraft bestimmt, von denen
jede proportional zu einem der Pixel innerhalb des Anziehungsbereiches
einer jeder der Kettenkomponenten A bis F ist, und dann aufsummiert,
um die anziehende Kraft F auf die folgende Weise bestimmen.
-
Ein
Teilbereich des Bildes, wie es in 5(a) gezeigt
ist, umschlossen von einer gestrichelten Linie, ist in 5(b) in einer vergrößerten Ansicht veranschaulicht.
Auf die Kettenkomponente D wird als ein Beispiel Bezug genommen
werden. Die Kettenkomponente D kann innerhalb eines horizontalen
Bereiches von vier rechten Pixeln zu vier linken Pixeln über ein
zentrales Pixel hinweg bewegt werden, in welchem die Kettenkomponente
D positioniert ist. Die rechte und die linke Richtung von der Kettenkomponente
D werden als die positive bzw. negative Richtung definiert. Jedes
Quadrat repräsentiert
ein Pixel. Eine Zahl in jedem Quadrat repräsentiert ein Helligkeitsniveau
des Pixels. Genauer gesagt besitzen die vier Pixel, die auf der
rechten Seite der Kettenkomponente D angeordnet sind, die Helligkeitsniveaus
124, 13, 23 und 31, und die vier Pixel, die auf der linken Seite
der Kettenkomponente D angeordnet sind, besitzen die Helligkeitniveaus
35, 21, 11 und 13. In diesem Fall wird die anziehende Kraft F durch
die folgende Beziehung gegeben. F = Σ(Pixel-Helligkeit/Entfernung
(mit einer Richtung))
= [13/(–4)] + [11/(–3)] + [21/(–2)] + [35/(–1)] + [124/1] +
[13/(2)] + [23/3] + [31/4]
-
Die
potentielle Energie E besitzt keine Richtung in Bezug auf die Entfernung
von der Kettenkomponente D und wird durch die folgende Beziehung gegeben. E = Σ(Pixel-Helligkeit/Entfernung
(ohne Richtung))
= (13/(4)] + [11/(3)] + [21/(2] + [35/(1)]
+ [124/1] + [13/(2)] + [23/3] + [31/4]
-
Nachdem
die anziehende Kraft F und die potentielle Energie E bestimmt sind,
schreitet die Routine zu Schritt 140 weiter, worin eine
Zielversetzung dX für
jede der Kettenkomponenten A bis F gemäß der folgenden Beziehung unter
Verwendung der anziehenden Kraft F und der potentiellen Energie
E, die in Schritt 130 abgeleitet wurden, bestimmt wird. dX = F/(K·(k·E)wobei
K eine Federkonstante und k ein Versetzungsbeschränkungskoeffizient
sind. Bei dieser Ausführungsform
sind die Federn, die dieselbe Federkonstante besitzen, zwischen
den Kettenkomponenten A bis F angeordnet, und folglich sind die
Federkonstanten K, die bei der Bestimmung der Zielversetzungen dX
der Kettenkomponenten A bis F verwendet werden, miteinander identisch.
Der Versetzungsbeschränkungskoeffizient
k ist ein Koeffizient, um jede Kettenkomponente vom Überschwingen
in Abhängigkeit
von der potentiellen Energie E und vom Regelschwingen abzuhalten.
-
Nach
dem Schritt 140 schreitet die Routine zu Schritt 150 fort,
wo jede der Kettenkomponenten A bis F um die in Schritt 140 abgeleitete
Zielversetzung dX bewegt wird, um das Kettenmodell als Ganzes zu
verschieben.
-
Die
Routine schreitet zu Schritt 160 fort, wo bestimmt wird,
ob eine vorausgewählte
Bewertungsgleichung erfüllt
ist oder nicht. Falls eine Antwort NEIN erhalten wird, dann kehrt
die Routine zu Schritt 130 zurück. Alternativ, falls eine
Antwort JA erhalten wird, dann schreitet die Routine zu Schritt 170 fort.
-
Die
Bestimmung in Schritt 160 wird gemacht, um zu bestimmen,
ob das Kettenmodell bei der Fahrspurmarkierung konvergiert ist oder
nicht. Zum Beispiel kann eine Bewer tungsgleichung in Ausdrücken bzw.
Begriffen der anziehenden Kraft F, die auf jede der Kettenkomponenten
A bis F einwirkt, verwendet werden. Genauer gesagt, die Bestimmung,
ob die anziehende Kraft F, die auf jede der Kettenkomponenten A
bis F ausgeübt
wird, nachdem diese um die Zielversetzung dX bewegt wurde, nahe
Null (0) ist oder nicht, wird unter Verwendung des sogenannten Energieminimierungsverfahrens
durchgeführt.
-
Eine
andere Bewertungsgleichung in Ausdrücken bzw. Begriffen eines Maßes für die Bildeigenschaft
einer Fahrspurmarkierung kann alternativ verwendet werden. Zum Beispiel
kann die Bestimmung durchgeführt
werden, ob die Helligkeit eines Pixels, zu welchen jede der Kettenkomponenten
bewegt worden ist, einen Wert besitzt oder nicht, der es zuläßt, daß bestimmt
bzw. entschieden wird, daß die Fahrspurmarkierung
auf jenem Pixel lokalisiert bzw. angeordnet ist. Wie in 5(b) zu sehen ist, ist die Helligkeit eines Pixels
auf der Fahrspurmarkierung 124, während die größte Helligkeit
in den anderen Pixeln 35 beträgt.
Ein Pixel, das eine Helligkeit von, beispielsweise, mehr als 100
besitzt, kann folglich als ein Pixel betrachtet werden, das auf
der Fahrspurmarkierung angeordnet bzw. lokalisiert ist.
-
Als
eine Alternative zu der obigen Bestimmung in Schritt 160 kann
es bestimmt bzw. ermittelt werden, ob die Versetzung einer jeden
Kettenkomponente eine vorgegebene Anzahl oft durchgeführt worden
ist oder nicht, d.h., ob die Schritte 130 bis 150 die vorgegebene
Anzahl mal durchgeführt
worden sind oder nicht. Dies verringert eine Rechenlast der CPU 24.
-
Falls
eine Antwort JA in Schritt 160 erhalten wird, dann schreitet
die Routine zu Schritt 170 weiter, wo es bestimmt wird,
ob die Bilddaten des nachfolgenden Datenübertragungsblockes bzw. Bildes
aus dem Bildspeicher 23 ausgelesen werden sollen oder nicht.
Falls eine Antwort JA er halten wird, dann kehrt die Routine zu Schritt 110 zurück. Alternativ,
falls eine Antwort NEIN erhalten wird, wird die Routine dann beendet.
-
Das
Fahrspurmarkierungserkennungssystem 2 dieser Ausführungsform
ist, wie aus der obigen Diskussion entnommen werden kann, dafür vorgesehen
bzw. entworfen, den Ort in einem Bild, bei dem das Kettenmodell
konvergiert bzw. sich dem Ort einer Fahrspurmarkierung konvergierend
annähert,
als den Ort einer Fahrspurmarkierung zu bestimmen. Dies eleminiert
den Bedarf für
die Binär-Codierung und
die "Punkt-zu-Linie"-Bildverarbeitung ("dot-to-line"-Bildverarbeitung),
welche instabil und empfindlich gegenüber einer Änderung in den Umweltbedingungen
sind.
-
Die
vorliegende Erfindung, wie oben beschrieben, kann zusammen mit automatisch
geführten
Fahrzeugen verwendet werden, die üblicherweise in einer Fabrik
verwendet werden. Eine Führungslinie
zum Führen
bzw. Leiten der Fortbewegung des Fahrzeuges ist nicht immer eine
helle Linie, die auf einem dunklen Boden aufgedruckt ist. Zum Beispiel kann
eine schwarze Linie auf einem weißen Fußboden aufgedruckt sein. In
diesem Fall wird die anziehende Kraft F im umgekehrten bzw. inversen
Verhältnis
zu der Helligkeit eines Pixels bestimmt. Ferner, in einem Fall,
bei dem eine rote Linie auf einen blau gestrichenen Fußboden aufgedruckt
ist, der im wesentlichen dieselbe Helligkeit besitzt wie die rote
Linie, kann von der CCD-Kamera 10 ein Farbbild aufgenommen
werden, um die anziehende Kraft F auf der Grundlage der Farbart
bzw. des Farbwertes zu bestimmen. Genauer gesagt wird die anziehende
Kraft F größer gemacht
bzw. nimmt zu, wenn der Farbwert eines Pixels jenen der roten Linie
erreicht.
-
Obwohl
die vorliegende Erfindung in Ausdrücken bzw. Begriffen der bevorzugten
Ausführungsformen
offenbart worden ist, um ein besseres Verständnis derselben zu erleichtern, sollte
es erkannt werden, daß die
vorliegende Erfindung auf verschiedene Weisen verkörpert werden
kann ohne von den Prinzipien der Erfindung abzuweichen.
-
Beispielsweise
kann die anziehende Kraft F und die potentielle Energie E in Schritt 130 von 4 unter
Verwendung eines separaten anwendungsspezifischen integrierten Schaltkreises – separaten
ASICs – anstelle
der CPU 24 bestimmt werden. Das Programm, wie in 4 gezeigt,
das in der CPU 24 ausgeführt wird, kann in einem transportablen
Speichermedium wie z.B. einer Diskette, einer optischen Platte,
einer CD-ROM, einer DVD oder einer Festplatte gespeichert und in
das Fahrspurmarkierungserkennungssystem geladen werden, das mit
einem Computer implementiert wird. Das Programm kann alternativ
in einem ROM oder einem Sicherungs-RAM (backup-RAM) vorinstalliert
werden, der in das Fahrspurmarkierungserkennungssystem eingebaut
ist.