-
HINTERGRUND
-
(a) Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein System und ein Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug, welches automatisch die Parkraumlinienmarkierungen von einem Bild einer Fahrzeugbildgebungseinrichtung, wie zum Beispiel einer Kamera, Videokamera, Visionssystem, etc., extrahiert und erkennt.
-
(b) Hintergrundtechnik
-
In den letzten Jahren hat die Forschung in diesem Technologiebereich angefangen eine Hauptrolle in dem Wirtschaftsbereich und dem akademischen Bereich, sowie in dem Forschungs- und Entwicklungsbereich der Automobilindustrie zu spielen, da das Benutzerinteresse im automatischen Parken sich gesteigert hat. Solch ein automatisches Parksystem umfasst gewöhnlicher Weise drei Komponenten, wie zum Beispiel einen Ziel-Positions-Bestimmungsprozess, einen Pfadplanprozess und einen Pfadverfolgungsprozess, welche alle durch einen Prozessor ausgeführt werden, der typischerweise ein Teil einer Steuerung ist, welche in dem Fahrzeug installiert ist. Der gewöhnliche Ziel-Position-Bestimmungsprozess kann in vier Kategorien klassifiziert werden, welche eine Benutzerschnittstellen-basierten Prozess, einen Infrastruktur-basierten Prozess, einen Freiraum-basierten Prozess, und einen Parkraumlinienmarkierungs-basierten Prozess beinhalten. Die meisten derzeit hergestellten Produkte verwenden einen Benutzerschnittstellen-basierten Prozess oder einen Freiraum-basierten Prozess.
-
Der Benutzerschnittstellen-basierte Prozess ist der am einfachsten zu implementierende und ist nützlich für Korrektur, wenn die automatische Erkennung fehlgeschlagen ist, jedoch muss der Benutzer das System jedes Mal manuell betätigen und daher ist es bei den meisten Benutzern kein gewünschtes System. Der Freiraum-basierte Prozess verwendet einen Ultraschallsensor, um eine praktische Lösung für den Benutzer während des Parallelparkens zur Verfügung zu stellen. Dennoch ist die Systemfehlerrate während rechtswinkeligen Parkens unbegründeter Weise hoch im Vergleich und als ein Resultat wird die gewünschte Parkposition oft inkorrekt schief gesetzt in Abhängigkeit der Höhe von direkt benachbarten Fahrzeugen.
-
Ein Parkraumlinienmarkierungserkennungs-basierter Prozess hat dennoch die folgenden Vorteile im Vergleich mit anderen Prozessen.
- 1) Der Parkraumlinienmarkierungserkennungs-basierte Prozess kann den Betätigungsgrad eines Fahrers minimieren, was ein sehr signifikantes Problem in einem Benutzerschnittstellen-basierten Prozess ist.
- 2) Da der Freiraum-basierte Prozess einen Parkort in Abhängigkeit der Höhe der direkt benachbarten Fahrzeuge setzt, kann ein Zielort schief gesetzt sein. In dem Parkraumlinienmarkierungserkennungsprozess kann ein Ziel gesetzt werden, um genau zwischen Parkraumlinienmarkierungslinien angeordnet zu sein.
- 3) Abtastungslaserradar, Kurzbereichsradar, und Stereokamera-basierte Prozesse müssen typischerweise zusätzliche Sensoren beinhalten, jedoch kann der Parkraumlinienmarkierungserkennungsprozess eine existierende hintere Bildgebungseinrichtung verwenden.
- 4) Ein Prozess, der einen Ultraschallsensor verwendet, hat eine hohe Fehlerrate während des rechtwinkeligen Einparkens aufgrund der Erfassungsbegrenzung, jedoch kann der Parkraumlinienmarkierungs-Erkennungsprozess effektiv angewendet werden während rechtwinkeligen Parkens.
- 5) Ein monookularer Bewegungsstereo-basierter Prozess benötigt einen großen Betrag an Berechnung, jedoch kann der Parkraumlinienmarkierungs-Erkennungsprozess implementiert werden mit einem vergleichsweise kleinen Betrag an Berechnung.
-
Immer noch kann der Parkraumlinienmarkierungserfassungs-basierte Prozess nur ausgeführt werden, wenn Parkraumlinienmarkierungen zur Verfügung gestellt sind. Dennoch sind die meiste Zeit in urbanen Umgebungen (wo Konsumenten gewöhnlich dieses Merkmal benutzen), Parkräume ausreichend gekennzeichnet und daher ist dieser Nachteil irrelevant. Der Parkraumlinienmarkierungs-basierte Prozess erkennt Parkraumlinienmarkierungen nur über einen Bildsensor, solange eine Infrastruktur zur Zeit der Zeichnung der Parkraumlinienmarkierung nicht installiert ist.
-
Der Parkraumlinienmarkierungs-basierte Prozess kann in einen halbautomatischen Prozess, welcher eine Benutzereingabe für Informationen bezüglich eines Parkraumes erfordert, und einen vollautomatischen Prozess, welcher keine Benutzereingabe erfordert, unterteilt werden. Der halbautomatische Prozess kann im Bereich der Geschwindigkeit und der Erkennungsrate bevorzugter sein als der vollautomatische Prozess, da der Benutzer zusätzliche Informationen bezüglich eines Parkraumes eingibt und wenn ein automatisch Erkennungssystem fehlschlägt, kann der halbautomatische Prozess sehr wertvoll sein, sogar als Sicherungswerkzeug.
-
In einigen Systemen wird ein Verfahren des Erkennens des Parkraumes durch ein markiertes Liniensegment mit einem direktionalen Intensitätsgradienten basierend auf den Informationen zur Verfügung gestellt, wenn ein Benutzer einen Punkt in einer Zone über einen Touchscreen eingibt, wo der Benutzer das Auto parken möchte. Dennoch wird dieser Prozess auf nur eine Art von Parkraumlinienmarkierungen angewendet. Daher wird die Initialposition von zwei Kreuzungspunkten, welche einen Eingang der Parkzone andeuten, welche der Benutzer angefordert hat, eingegeben in den Touchscreen, um diesen zu vervollständigen und ein Prozess des Erkennens des Parkraumes durch Template-Matching eines Skeletts eines Parkraumlinienmarkierungsbereiches erhalten durch Binarisierung wird zur Verfügung gestellt.
-
Der vollautomatische Prozess wurde gewöhnlicher Weise in einer Vielzahl von Arten entwickelt. In einigen Systemen wird ein Prozess des Erkennens des Parkraumes durch Extrahierung von Pixeln, welche in der Parkraumlinienmarkierung beinhaltet sind, durch einen Farbsegmentierungsprozess basierend auf einem begrenzten Coulomb-Energie-Neuralnetzwerkes durch die verwendete Begründung, dass die Parkraumlinienmarkierung eine vorherbestimmte Farbe aufweist, zur Verfügung gestellt.
-
Zusätzlich wird die Parkraumlinienmarkierung identifiziert unter der Verwendung nur der Pixel, welche Homographie mit einer Grundoberfläche befriedigen, nachdem 3D-Rekonstruktion für eine vertikale Kante im Rücken des Fahrzeuges ausgeführt wird durch die Verwendung einer biokularen Stereokamera.
-
Mittlerweile gibt es einen zusätzlichen Prozess des Erkennens des Parkraumes durch Filterung eines Hough-Raums eines Vogelperspektivenkantenbildes unter der Annahme, dass die Parkraumlinienmarkierung ausgebildet ist mit zwei graden Linien, welche eine feste Breite aufweisen, welche parallel zueinander sind und eine gerade rechtwinkelige Linie dazu aufweisen. Ferner gibt es einen Prozess zum Entfernen einer außenliegenden Markierung und zum Erfassen einer geraden Linie durch einen verbesserten Random Sample Consensus Algorithmus nachdem fortlaufend eine virtuelle Zielposition berechnet wurde auf der Basis einer Fahrzeugposition und eines Reflektionswinkels gerade bevor das Fahrzeug sich rückwärts beweget zum Parken. Dennoch nimmt der existierende vollautomatische Prozess an, dass es nur eine Art von Parkraum gibt und daher ist dieser Prozess begrenzt in der Anpassbarkeit auf ungewöhnliche Parkräume.
-
Die oben zur Verfügung gestellte Beschreibung als relevante Technik ist nur zur Unterstützung des Verständnisses des Hintergrunds der vorliegenden Erfindung und sollte nicht dahingehend angesehen werden, dass sie beinhaltet ist in der verwandten Technik, die den Fachmännern in dem technischen Gebiet bekannt ist.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Die vorliegende Erfindung stellt ein System und ein Verfahren zum Erkennen von Parkraumlinienmarkierungen für ein Fahrzeug zur Verfügung, die automatisch und dynamisch auf verschiedene Parkraumlinienmarkierungen angewendet werden können, ohne Anweisungen oder Eingaben von einem Benutzer durch eine Bildgebungseinrichtung, welche in dem Fahrzeug installiert ist.
-
Eine beispielhafte Ausführungsform der vorliegenden Erfindung stellt ein Verfahren zum Erkennen ein oder mehrerer Parkraumlinienmarkierungen für ein Fahrzeug zur Verfügung, welches auf einem Prozessor ausführbar ist, aufweisend: Einen Eckenerfassungsprozess, welcher ausgebildet ist, eine gewinkelte Ecke in einem Bild zu erfassen, welches die eine oder mehrere Parkraumlinienmarkierungen beinhaltet; ein Kreuzerfassungsprozess, welcher ausgebildet ist, einen Kreuzungspunkt durch Kombinieren von nebeneinander angeordneten Ecken unter die erfassten Ecken zu erfassen; einen Raumerfassungsprozess, der ausgebildet ist, einen Raum zu erfassen, welcher eine Endumgebung der einen oder mehreren Parkraumlinienmarkierungen ist, durch Kombinieren der erfassten Kreuzungspunkte; einen Typauswahlprozess, welcher ausgebildet ist, einen Typ der Parkraumlinienmarkierung aus dem erfassten Raum auszuwählen; und einen finalen Auswählprozess, welcher ausgebildet ist, einen finalen Raum auf der Basis des ausgewählten Typs der Parkraumlinienmarkierung auszuwählen.
-
Das Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug kann ferner einen Bildextraktionsprozess beinhalten, welcher ausgebildet ist, das Bild, welches die eine oder mehrere Parkraumlinienmarkierungen beinhaltet, von einer Bildgebungseinrichtung, welche auf der äußeren Umgebung des Fahrzeuges installiert ist, in einem Vogelperspektivenformat zu extrahieren. In dem Bildextraktionsprozess kann ein Bild eines Fischaugenbildformats, welches von einer Fahrzeugbildgebungseinrichtung extrahiert wurde, in ein Vogelperspektivenformat umgewandelt werden.
-
In dem Ecken-Erfassungsprozess kann der Typ der Ecke, welche erfasst wurde gemäß einem Winkel eines Bogens, welcher in der Ecke in einem Kreis beinhaltet ist, der einen Radius kleiner als die Breite der Parklinienmarkierung aufweist, vernachlässigt werden durch den Prozess. Zusätzlich kann die Ecke klassifiziert werden in eine Vielzahl von verschiedenen Typen von Ecken, welche ausgewählt werden von einer Vielzahl von Winkeln, welche 45°, 60°, 90°, 120°, 135° und 270° umfassen. In derselben Weise kann der Kreuzungspunkt klassifiziert werden in eine Vielzahl von verschiedenen Typen von Kreuzungspunkten, welche ausgewählt werden aus einer Gruppe, welche aus einem T-Typ, einem L-Typ, einem Y-Typ und einem I-Typ bestehen.
-
Ferner kann in einigen beispielhaften Ausführungsformen der vorliegenden Erfindung eine Grenze zwischen einer Parkraumlinienmarkierung und einer Straße ausgedrückt werden als ein Vektor in Abhängigkeit auf einem Wechsel in der Helligkeit. Entlang diesen Linien können die Kreuzungspunkte während des Kreuzerfassungsprozesses klassifiziert werden, wie oben angemerkt, in entweder einem T-Typ, dem L-Typ, dem Y-Typ und dem I-Typ in Abhängigkeit des Typs der Ecke, der vorhanden ist, richtungsabhängig als ein Vektor von Grenzen zwischen zumindest einer der Parkraumlinienmarkierungen und der Straße, und einer Beabstandungsdistanz zwischen benachbarten Ecken. Ferner kann die Art des Kreuzungspunktes bestimmt werden auf der Basis des Typs einer einzelnen Ecke und die Richtung des Vektors der Grenze zwischen den Parkraumlinienmarkierungen und der Straße, sogar wenn ein Paar von benachbarten Ecken nicht erfasst wird.
-
In dem Kreuzerfassungsprozess kann der Kreuzungspunkt ausgedrückt werden durch den Vektor durch die Richtung des Grenzvektors zwischen der Parkraumlinienmarkierung und der Straße, und in dem Raumerfassungsprozess wird die Richtung des Raums beurteilt auf der Basis der Vektorrichtung des Kreuzungspunkts, um zu bestimmen, ob der erfasste Raum ein Raum ist, an einem Punkt, wo die Parkraumlinienmarkierung beginnt.
-
In dem Raumerfassungsprozess kann der Raum in entweder ein Rechteck oder ein Parallelogramm klassifiziert werden.
-
In dem finalen Auswählprozess kann ein finaler Raum ausgewählt werden auf der Basis auf Gemeinsamkeiten zwischen den Parkraumlinienmarkierungstypen und des erfassten Raumes und der Helligkeitsniveaus der erfassten Räume.
-
Eine weitere Ausführungsform der vorliegenden Erfindung stellt ein Verfahren zum Erfassen einer Parkraumlinienmarkierung für ein Fahrzeug zur Verfügung, das durch einen Prozessor, welcher in einer Steuerung eines Fahrzeuges installiert ist, ausgeführt wird, beinhaltend: Einen Kantenerfassungsprozess, welcher ausgebildet ist, eine gewickelte Kante in einem Bild, welches die Parkraumlinienmarkierung enthält, zu erfassen; einen Kreuzerfassungsprozess, welcher ausgebildet ist, einen Kreuzungspunkt durch Kombinieren von benachbarten Kanten gegenüber den erfassten Kanten zu erfassen; einen Raumerfassungsprozess, welcher ausgebildet ist, einen Raum zu erfassen, welcher eine Endperipherie der Parkraumlinienmarkierungen ist durch Kombinierung der erfassten Kreuzungspunkte; und einen finalen Auswählprozess, welcher ausgebildet ist, einen finalen Raum durch Vergleich der Helligkeit der erfassten Räume auszuwählen.
-
In einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung wird ein Verfahren zum Erfassen einer Parkraumlinienmarkierung für Fahrzeuge zur Verfügung gestellt, beinhaltend: Erfassen der Ecke einer Parkraumlinienmarkierung aus einem Bild einer Fahrzeugbildgebungseinrichtung durch ein Bildgebungseinrichtungssystem; Erfassen der Kreuzungspunkte durch Kombinierung von benachbarten Ecken durch einen Prozessor in dem Bildgebungseinrichtungssystem; Erfassen des Raumes, welcher die Endumgebung der Parkraumlinienmarkierung ist, durch Kombinieren der benachbarten Kreuzungspunkte durch den Prozessor; und Auswählen des finalen Raums durch Ersetzen des erfassten Raumes in den Parkraumlinienmarkierungstyp, welcher vorher zur Verfügung gestellt ist oder durch Vergleich der Helligkeit des Raumes, und Erfassen der Parkraumlinienmarkierung.
-
Vorteilhafterweise stellt die beispielhafte Ausführungsform der vorliegenden Erfindung einen vollautomatischen Parkraumlinienmarkierungs-Erfassungsprozess zur Verfügung, welcher auf verschiedenen Parkraumlinienmarkierungen angewendet werden kann. Der vorliegende Prozess basiert auf dem Fakt, dass verschiedene Arten von Parkraumlinienmarkierungen in einer hierarchischen Baumstruktur ausgebildet sind. Jede Art der Parkraumlinienmarkierung ist zusammengesetzt aus einer Vielzahl von Räumen, wobei der einzelne Raum durch zwei Kreuzungspunkte ausgebildet ist und der einzelne Kreuzungspunkt durch eine Kombination von zwei Ecken ausgebildet ist.
-
KURZE BESCHREIBUNG DER FIGUREN
-
Die obigen und weitere Merkmale der vorliegenden Erfindung werden nun in Genauigkeit beschrieben in Bezug auf bestimmte beispielhafte Ausführungsformen davon, welche in den beigefügten Zeichnungen illustriert sind, und welche nur zur Illustration gegeben werden, und daher die vorliegende Erfindung nicht einschränken, und wobei:
-
1 ein Flussdiagramm eines Verfahrens zum Erkennen ein oder mehrerer Parkraumlinienmarkierungen für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist;
-
2 ein hierarchisches Diagramm des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist;
-
3 ein Diagramm ist, welches einen Erkennungsprozess für das Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung ist;
-
4A–E Diagramme sind, welche den Erkennungsprozess des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung ist;
-
5A–E Diagramme sind, welche eine Ecke des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung ist;
-
6A–D Diagramme sind, welche einen Kreuzungspunkt des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung darstellen;
-
7 ein Diagramm ist, welches einen Kreuzungspunkt des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung darstellen;
-
8A–E Diagramme sind, welche einen Raum des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellen; und
-
9A–D Diagramme sind, welche ein Implementationsbeispiel des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellen.
-
Es sollte verstanden werden, dass die beigefügten Figuren nicht notwendigerweise maßstabsgetreu sind und eine etwas vereinfachte Darstellung von bevorzugten Merkmalen darstellen, welche die Basisprinzipien der Erfindung darstellen.
-
In den Figuren beziehen sich die Bezugszeichen auf gleiche und äquivalente Teile der vorliegenden Erfindung durch die verschiedenen Figuren der Zeichnung.
-
GENAUE BESCHREIBUNG
-
Hiernach wird Bezug genommen in Genauigkeit auf verschiedene Ausführungsformen der vorliegenden Erfindung, wobei Beispiele davon in den beigefügten Figuren dargestellt sind und unten beschrieben werden.
-
Die hierin verwendete Terminologie ist zum Zwecke der Beschreibung bestimmter Ausführungsformen und grundsätzlich nicht dazu gedacht, die Erfindung einzugrenzen. Wie hierin verwendet sind die Einzahlformen „ein”, „eine” und „der, die, das” dazu gedacht, um alle Mehrzahlformen auch einzuschließen, soweit der Kontext nicht das Gegenteilige anzeigt. Es soll ferner verstanden werden, dass der Ausdruck „aufweisen” und „aufweisend”, wenn er in dieser Beschreibung gebraucht wird, die Anwesenheit von bestimmten Merkmalen, Zahlen, Stufen, Tätigkeiten, Elementen und/oder Komponenten spezifiziert, jedoch nicht die Anwesenheit von zusätzlichen anderen Merkmalen, Zahlen, Schritten, Tätigkeiten, Elementen, Komponenten und/oder Gruppen davon ausschließt. Wie hierin verwendet beinhaltet der Ausdruck „und/oder” alle Kombinationen von ein oder mehrere der aufgelisteten Gegenstände.
-
Es sollte verstanden, dass der Ausdruck „Fahrzeug” oder „Fahrzeug...” oder andere Ausdrücke, die hierin verwendet werden, Fahrzeuge im Allgemeinen beinhalten wie zum Beispiel Passagierautomobile beinhaltend Sports Utility Vehicles (SUV), Busse, Lastwagen, verschiedene kommerzielle Fahrzeuge, Wasserfahrzeuge beinhaltend eine Vielzahl von Booten und Schiffen, Flugfahrzeuge und ähnliches und Hybridfahrzeuge beinhalten, elektrische Fahrzeuge, Einsteck-Hybrid-Elektrische, wasserstoffbetriebene Fahrzeuge und andere Fahrzeuge mit alternativen Brennstoffen (zum Beispiel Brennstoffen, welche aus anderen Quellen als Öl hergestellt worden sind). Wie hierauf bezogen ist ein Hybridfahrzeug ein Fahrzeug, welches zwei oder mehr Energiequellen aufweist beispielsweise ein Benzin betriebenes und elektrisch betriebenes Fahrzeug.
-
Obwohl exemplarische Ausführungsformen beschrieben werden mit einer Vielzahl von Einheiten um den beispielhaften Prozess auszuführen, sollte es verstanden werden, dass die beispielhaften Prozesse auch durch ein oder eine Vielzahl von Modulen ausgeführt werden können. Zusätzlich sollte es verstanden werden, dass der Ausdruck Steuerung sich auf eine Einrichtung bezieht, welche einen Speicher und einen Prozessor beinhaltet. Der Speicher ist ausgebildet, um die Module und den Prozessor aufzunehmen und der Prozessor ist insbesondere ausgebildet, die Module auszuführen, um ein oder mehrere Prozesse, welche hiernach beschrieben werden, durchzuführen.
-
Ferner kann die Steuerungslogik der vorliegenden Erfindung ausgebildet sein als ein nicht-flüchtiges-computerlesbares Medium auf einem computerlesbaren Medium, welches ausführbare Programmanweisungen aufweist, die ausgeführt werden durch einen Prozessor, einer Steuerung oder ähnlichem. Beispiele von computerlesbaren Medien beinhalten, sind jedoch nicht darauf beschränkt, ROM, RAM, Kompaktdisk-ROMs (CD), magnetische Bänder, Floppy-Disks, Flash Drives, Smartcards und optische Speichereinrichtungen. Das computerlesbare Medium kann ebenso über Netzwerk-gekoppelte Computersysteme verteilt werden, so dass das computerlesbare Medium gespeichert ist und ausgeführt wird in einer vernetzten Art, zum Beispiel durch einen Telematikserver oder einem Controller Area Network (CAN).
-
Hiernach werden ein System und ein Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung mit Bezug auf die beigefügten Figuren beschrieben.
-
Die 1 ist ein Flussdiagramm eines Prozesses zum Erkennen einer Parkraumlinienmarkierung, welcher ausgeführt wird durch einen Prozessor auf einer Steuerung, welche in dem Fahrzeug installiert ist gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Der Prozess beinhaltet: Einen Eckenerfassungsprozess (S200), welcher ausgebildet ist, eine gewinkelte Ecke in einem Bild, welches die Parkraumlinienmarkierung umfasst, zu erfassen; einen Kreuzerfassungsprozess (S300), welcher ausgebildet ist, einen Kreuzungspunkt durch Kombinieren von benachbarten Ecken unter den erfassten Ecken zu erfassen; einen Raumerfassungsprozess (S400), welcher ausgebildet ist, einen Raum zu erfassen, welche eine Endumgebung der Parkraumlinienmarkierung ist, durch Kombinieren der erfassten Kreuzungspunkte; einen Typauswahlprozess (S500), welcher ausgebildet ist, einen Typ der Parkraumlinienmarkierung aus dem erfassten Raum zu erfassen; und einen finalen Auswählprozess (S600), welcher ausgebildet ist, einen finalen Raum auf der Basis des ausgewählten Typs auszuwählen.
-
Das Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsform der vorliegenden Erfindung verwendet ein photographisches Bild von einer Bildgebungseinrichtung, welche in dem Fahrzeug installiert ist, zum Beispiel eine rückseitige Kamera. Typischerweise wird als Erstes ein Bild, welches extrahiert wurde durch die Bildgebungseinrichtung als ein Fischaugenobjektivbild durch eine Fischaugenlinse in ein vogelperspektivisches Bild konvertiert. Zu diesem Zweck kann das Verfahren zum Erfassen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der vorliegenden Erfindung ferner einen Bildextraktionsprozess (S100) aufweisen, welcher ausgebildet ist, das Bild, welches die Parkraumlinienmarkierung beinhaltet, von der Bildgebungseinrichtung, welche in dem Fahrzeug zur Verfügung gestellt ist, in ein Vogelperspektivenbildformat zu extrahieren. Zusätzlich wird in dem Bildextraktionsprozess das Bild des Fischaugenbildformats, welches extrahiert wurde von der Fahrzeugbildgebungseinrichtung, in ein Vogelperspektivenbildformat umgewandelt, so dass die Parkraumlinienmarkierung dargestellt wird, als wenn sie von oben des Fahrzeuges aus gesehen wird und die dargestellte Parkraumlinienmarkierung ist daher einfacher zu erkennen.
-
Die Parkraumlinienmarkierung des Fahrzeuges kann im Allgemeinen identifiziert werden auf der Basis der Ecke, des Kreuzungspunktes, dem Raum und der Parkraumlinienmarkierung. Daher wird in dem Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß den beispielhaften Ausführungsformen der vorliegenden Erfindung zuerst die Ecke erfasst, dann die Kreuzungspunkte und dann der Raum identifiziert. Danach wird, als ein höherer Prozess, die Parkraumlinienmarkierung identifiziert und ein genauerer Raum wird erfasst, um ein Modell zu schaffen, welches die Basis davon wird, so dass eine genaue Parkraumlinienmarkierungserkennung erhalten wird.
-
2 ist ein hierarchisches Diagramm des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung. Ein höchster Parkraumlinienmarkierungstyp ist zusammengesetzt aus einer Vielzahl von Räumen, wobei der Raum aus Kreuzungspunkten zusammengesetzt ist, und der Kreuzungspunkt aus Ecken zusammengesetzt ist.
-
Als Erstes wird indem Eckenerfassungsprozess (S200) der Winkel der Ecke erfasst in dem Bild, welches die Parkraumlinienmarkierung beinhaltet und in dem Kreuzerfassungsprozess (S300) wird der Kreuzungspunkt erfasst durch Kombination von benachbarten Ecken entlang den erfassten Ecken. Zusätzlich wird in dem Raumerfassungsprozess (S400) der Raum der Endumgebung der Parkraumlinienmarkierung erfasst durch Kombination der erfassten Kreuzungspunkte und der Typauswahlprozess (S500), welcher ausgebildet ist, um den Typ der Parkraumlinienmarkierung auszuwählen von dem erfassten Raum, wird ausgeführt und der finale Auswählprozess (S600), welcher ausgebildet ist, um den finalen Raum auf der Basis des gewählten Typs auszuwählen, wird ausgeführt.
-
3 ist ein Diagramm, welches den Erfassungsprozess des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß den beispielhaften Ausführungsformen der vorliegenden Erfindung darstellt. Eine Parkraumlinienmarkierung 40 ist zusammengesetzt durch einen Raum, dem Kreuzungspunkt 20, und einem Paar von Ecken 10, welche den Kreuzungspunkt 20 ausbilden und die Parkraumlinienmarkierung 40 wird letztendlich an der Ecke 10 erkannt.
-
4A–D stellen verschiedene Typen einer Vielzahl von Parkraumlinienmarkierungen dar. Es wird angenommen, dass durch das Analysieren verschiedener Parkraumlinienmarkierungstypen von Strukturen, eine hierarchische Baustruktur gemacht wird aus dem Typ, dem Raum, der Kreuzungspunkte und der Ecken. Wie in 4A–D dargestellt wird ein Verfahren zur Handhabung vier Typen zur Verfügung gestellt, welche die üblichsten Typen von Parkraumlinienmarkierungen sind.
-
Die jeweiligen Typen von Parkraumlinienmarkierungen können für 4A als rechteckiger Typ, für 4B als unregelmäßiger rechteckiger Typ, für 4C als Diamanttyp, und für 4B als offener rechteckiger Typ bezeichnet werden. Diese vier Typen von Parkraumlinienmarkierungen sind aus vier möglichen Typen von Räumen gebildet, wie dargestellt in den 4E–4E, und der einzelne Raum ist ausgebildet durch verschiedene Kombinationen von zwei Kreuzungspunkten. In den Figuren sind die jeweiligen Räume illustriert und ein Kreuzungspunktpaar, welches einen Raum ausbildet, wird dargestellt und illustriert zusammen in einer roten Farbe. Diese fünf Typen von Räumen sind in 4E–4I dargestellt und als TT-Raum (4E), als TL-Raum (4F), als TT-Raum (4B), als YY-Raum (4H) und als II-Raum (4I) jeweils bezeichnet.
-
In Detail wird in den Eckenerfassungsprozess (S200) des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß der beispielhaften Ausführungsformen der vorliegenden Erfindung ein Typ der Ecke, welche erfasst wurde gemäß einem Winkel eines Bogens, welcher in der Ecke beinhaltet ist in einen Kreis, der einen Radius aufweist von weniger als die Breite der Parkraumlinienmarkierung der Parkraumlinie der Parkraumlinienmarkierung, diskriminiert und die Ecke kann in einem 60°, 90°, 120° oder 270° Winkel klassifiziert werden. In dem Eckenerfassungsprozess (S200) kann eine Grenze zwischen der Parkraumlinie der Parkraumlinienmarkierung und einer Straße ausgedrückt werden als ein Vektor in Abhängigkeit eines Wechsels in der Helligkeit. Daher kann in dem Kreuzerfassungsprozess (S300) der Kreuzungspunkt in Typen vom P-Typ, L-Typ, Y-Typ und I-Typ klassifiziert werden.
-
In Detail können die Ecken, welche die Kreuzungspunkte ausbilden, klassifiziert werden in einem der vier Typen, wie in 5 dargestellt, gemäß einem Winkel eines Bogens, welcher einer Grundfläche entspricht, wenn ein Kreis, der einen kleineren Radius aufweist als die Weite der Parkraumlinie, zum Zentrum gezeichnet wird. Die Ecken, welche in den 5A–5D dargestellt sind, weisen einen Winkelbogen auf, welcher entsprechenden Grundebenen entspricht, welche 60°, 90°, 120° und 270° sind, und als ein Resultat können die Ecken 60°-Ecke, 90°-Ecke, 120°-Ecke und 270°-Ecke genannt werden. Natürlich kann der Typ von Ecken auch Winkel von 45° und 135° umfassen.
-
Vorlagen der vier Typen von Ecken werden erzeugt unter der Annahme einer Parkraumlinienmarkierungssituation, in welchen die Helligkeit der Parkraumlinienmarkierung 255 und die Helligkeit der Grundebene 0 ist. Unter solchen Bedingungen hat ein kreisförmiges Intensitätsprofil der 60°-Ecke eine Helligkeit von 0 bis 60 (und eine Helligkeit von 255 für 300°, wobei das zirkuläre Intensitätsprofil einer 90°-Ecke eine Helligkeit von 0 für 90° und eine Helligkeit von 255 für 270°, und das kreisförmige Intensitätsprofil der 120°-Ecke eine Helligkeit von 0 für 90° und eine Helligkeit von 255 für 240°, und das kreisförmige Intensitätsprofil der 270°-Ecke eine Helligkeit von 0 für 270° und eine Helligkeit von 255 für 90° aufweist. Das ist wenn die jeweiligen Ecken gescannt werden um das Zentrum in einer Uhrzeigerrichtung, wobei die Typen von allen zugehörigen Ecken erfasst werden gemäß dem Grad des Winkels, welcher eine Differenz in der Helligkeit anzeigt.
-
6A–D und 7 sind Diagramme, welche einen Kreuzungspunkt des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß dem beispielhaften Ausführungsbeispiel der vorliegenden Erfindung darstellt und der Kreuzungspunkt, welcher den Raum der Parkraumlinienmarkierung ausmacht, kann klassifiziert werden in vier Typen gemäß den Typen und Richtungen der Ecken, welche aus Kreuzungspunkten zusammengesetzt sind. Die Typen und Richtungen der Ecken, welche die Kreuzungspunkte zusammensetzen, sind in 6 dargestellt. Lienen-Segmentpaare, welche grün, rot, blau und schwarz gezeichnet sind, bedeuten jeweils die 60°-Ecke, die 90°-Ecke, die 120°-Ecke und die 270°-Ecke und ein Liniensegment, welches mit dem Kreis endet und ein Liniensegment, welches nicht mit dem Kreis endet, bedeutet jeweils W2BTD (ein Vektor, welcher eine Helligkeit aufweist, die von weiß nach schwarz wechselt) und B2BTD (ein Vektor, dessen Helligkeit von schwarz nach weiß wechselt), und ein Kreuzungspunkt beider Liniensegmente bedeutet die Position der Ecke. Ein gepunkteter Pfeil zeigt eine Richtung des Kreuzungspunkts an und ein Startpunkt davon zeigt eine Position des Kreuzungspunkts an. 7 ist ein Diagramm, welches den Typ der Kreuzungspunkte auf einer Parkraumlinienmarkierung durch die Analyse darstellt.
-
Daher wird in dem Kreuzerfassungsprozess (S300) der Kreuzungspunkt in die Typen vom T-Typ, dem L-Typ, dem Y-Typ und dem I-Typ auf der Basis der Typ der Ecke, der Richtung eines Vektors einer Grenze zwischen den Parkraumlinienmarkierungen und der Straße, und eine Beabstandungsdistanz zwischen benachbarten Ecken klassifiziert, und in dem Kreuzerfassungsprozess (S300), sogar wenn ein Paar von benachbarten Ecken nicht erfasst wird, wird der Typ des Kreuzungspunkt bestimmt gemäß dem Typ einer einzelnen Ecke und der Richtung des Vektors der Grenze zwischen der Parkraumlinie und der Straße.
-
Zu diesem Zweck wird der Kreuzungspunkt in dem Kreuzerfassungsprozess (S300) ausgedrückt durch den Vektor durch die Richtung des Grenzenvektors zwischen der Parkraumlinie und der Straße und in dem Raumerfassungsprozess (S400) wird eine Richtung bewertet gemäß der Vektorrichtung des Kreuzungspunktes, um zu bestimmen, ob der erfasste Raum ein Raum ist an einem Punkt, wo die Parkraumlinienmarkierung beginnt.
-
Zwischenzeitlich sollten vier Bedingungen erfüllt sein, um den Kreuzungspunkt von zwei Ecken zu erzeugen, wie unten beschrieben.
- 1) Im Falle eines T-Kreuzungspunktes: (1) Alle Ecken haben einen 90° Winkel, (2) Eine Distanz zwischen den Ecken ist beabstandet durch die Weite der Parkraumlinie, (3) W2BTD von Ecke #1 und B2WTD von Ecke #2 decken sich miteinander und B2WTD von Ecke #1 und W2BTD von Ecke #2 sind gegenüberliegend, (4) ein Vektor hin zur Ecke #2 von Ecke #1 ist gegenüberliegend zu B2WTD von Ecke #1 und deckt sich mit W2BTD von Ecke #2.
- 2) Im Falle eines L-Kreuzungspunktes: (1) Ecke #1 ist die 90°-Ecke und Ecke #2 ist die 270°-Ecke, (2) eine Distanz zwischen beiden Ecken ist beabstandet durch ein Doppeltes der Breite der Parkraumlinie, (3) W2BTD von Ecke #1 und B2WTD von Ecke #2 decken sich miteinander und B2WTD von Ecke #1 und B2BTD von Ecke #2 decken sich miteinander, (4) der Vektor hin zu Ecke #2 von Ecke #1 ist unterschiedlich von B2WTD von Ecke #1 und W2BTD von Ecke #2 durch 45° in Uhrzeigerrichtung.
- 3) In dem Fall eines Y-Kreuzungspunktes: (1) Ecke #1 ist die 60°-Ecke und Ecke #2 ist die 120°-Ecke, (2) eine Distanz zwischen beiden Ecken ist beabstandet durch die Breite der Parkraumlinie, (3) B2WTD von Ecke #1 und W2BTD von Ecke #2 sind gegenüberliegend und B2WTD von Ecke #1 und W2BTD von Ecke #2 sind gegenüberliegend zueinander, (4) der Vektor hin zu Ecke #2 von Ecke #1 ist gegenüberliegend zu B2WTD von Ecke #1 und deckt sich mit W2BTD von Ecke #2.
- 4) In dem Fall eines I-Kreuzungspunktes: (1) Beide Ecken sind 270°-Ecken, (2) eine Distanz zwischen beiden Ecken ist beabstandet durch die Breite einer Parkraumlinie, (3) W2BTD von Ecke #1 und B2WTD von Ecke #2 decken sich miteinander und B2WTD von Ecke #1 und W2BTD von Ecke #2 sind gegenüberliegend zueinander, (4) Der Vektor hin zur Ecke #2 von Ecke #1 deckt sich mit B2WTD von Ecke #1 und ist gegenüberliegend zu W2BTD von Ecke #2.
-
8 ist ein Diagramm, welches einen Raum des Verfahrens zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung darstellt. Die fünf Typen von Räumen, welche die Parkraumlinienmarkierung ausmachen, sind klassifiziert gemäß den Typen und den Richtungen der Kreuzungspunkte wie in 8 dargestellt. In dieser Figur zeigt ein Rechteck den Raum an, welcher erzeugt wird durch beide Kreuzungspunkte und ein Pfeil mit einer durchgehenden Linie in dem Rechteck deutet die Richtung des Raumes an. Als ein Resultat werden zwei Kreuzungspunkte, welche erzeugt werden durch die Ecken, miteinander kombiniert, um die verschiedenen Typen von Räumen zu erfassen.
-
Ein Verfahren des Konfigurierens des Raumes zwischen zwei Kreuzungspunkten ist ähnlich dem Verfahren zum Erzeugen des Kreuzungspunktes aus zwei Ecken. Zu diesem Zweck werden drei Typen von Informationen (Form, Position und Richtung) verwendet. Die Bedingungen sollten erfüllt werden, um den Raum von zwei Kreuzungspunkten wie unten beschrieben, zu erzeugen.
- (a) Im Fall eines TT-Raumes: (1) Beide Kreuzungspunkte sind T-Kreuzungspunkte, (2) Eine Distanz zwischen beiden Kreuzungspunkten ist beabstandet durch die Breite des Fahrzeuges, (3) Die Richtung beider Kreuzungspunkte decken sich miteinander, und (4) ein Vektor, welcher beide Kreuzungspunkt verbindet, ist rechtwinkelig zu der Richtung beider Kreuzungspunkte.
- (b) Im Fall eine LT-Raumes: (1) Kreuzungspunkt #1 ist eine L-Kreuzungspunkt und Kreuzungspunkt #2 ist ein T-Kreuzungspunkt, (2) eine Distanz zwischen beiden Kreuzungspunkten ist beabstandet durch die Breite des Fahrzeugs, (3) die Richtungen beider Kreuzungspunkte sind rechtwinklig oder zeigen zueinander, und (4) ein Vektor, der beide Kreuzungspunkte verbindet, ist parallel zu der Richtung des T-Kreuzungspunktes und rechtwinkelig oder parallel zu der Richtung des L-Kreuzungspunktes.
- (c) In dem Fall eines TT'-Raumes: (1) Beide Kreuzungspunkte sind T-Kreuzungspunkte, (2) eine Distanz zwischen beiden Kreuzungspunkten ist beabstandet durch die Breite des Fahrzeuges, (3) die Richtungen beider Kreuzungspunkte sind gegenüberliegend, und (4) ein Vektor, welcher beide Kreuzungspunkte verbindet, zeigt die Richtung beider Kreuzungspunkte.
- (d) In dem Fall eines YY-Raumes: (1) Beide Kreuzungspunkte sind Y-Kreuzungspunkte, (2) Eine Distanz zwischen beiden Kreuzungspunkten findet beabstandet durch ein Vielfaches von 1/cos30 (von der Breite des Fahrzeuges), (3) Die Richtungen beider Kreuzungspunkte decken sich miteinander, und (4) ein Vektor, welcher beide Kreuzungspunkte verbindet, ist unterschiedlich in Richtung eines Kreuzungspunktes durch 60 (und die Richtung des anderen Kreuzungspunktes durch 120).
- (e) In dem Fall eines I-I-Raumes: (1) Beide Kreuzungspunkte sind I-Kreuzungspunkte, (2) eine Distanz zwischen beiden Kreuzungspunkten ist beabstandet durch die Breite des Fahrzeuges, (3) die Richtungen beider Kreuzungspunkte decken sich miteinander, und (4) ein Vektor, welcher beide Kreuzungspunkte verbindet, ist rechtwinkelig zu der Richtung beider Kreuzungspunkte.
-
Daher wird der Raum in dem Raumerfassungsprozess (S400) in entweder in ein Rechteck oder ein Parallelogramm klassifiziert und in dem finalen Auswählprozess (S600) wird ein finaler Raum ausgewählt gemäß der Gemeinsamkeiten zwischen dem Parkraumlinienmarkierungstypen der erfassten Räume und der Helligkeitsniveaus der erfassten Räume.
-
Daher wird ein hellster Raum als ein repräsentativer Raum unter einer Vielzahl von Raumkandidaten erfasst durch Kreuzungspunkte mit einer Vielzahl von Ecken und der Parkraumlinienmarkierungstyp, welcher sich deckt mit dem Raum, wird extrahiert und danach, als ein Resultat, wird die Parkraumlinienmarkierung letztendlich erkannt. Zu diesem Zweck werden verschiedene allgemeinen Typen von Parkraumlinienmarkierungen gespeichert im Voraus auf einer Speichereinrichtung, welche in dem Fahrzeug installiert ist, wie zum Beispiel ein Memory oder ein Harddrive.
-
Die vorliegende Erfindung stellt ein Verfahren des vollautomatischen Erkennens von verschiedenen Typen von Parkraumlinienmarkierungen zur Verfügung. Das dargestellte Verfahren zeigt, dass die Parkraumlinienmarkierung zusammengefasst werden kann in einer hierarchischen Baumstruktur, welche Niveaus aufweist, welche Raumkreuzungspunktecken anzeigen. Nachdem die Baumstruktur ausgebildet ist in einer Bottom-up-Richtung während Übererfassung ausgeführt wird auf der Basis des dargestellten Verfahrens, ist es verifiziert, dass ein Algorithmus, welcher eine hohe Abtastrate aufweist, versichern kann unter der Verwendung eines einfachen Verfahrens durch Organisation und Bestätigen der Baumstruktur in einem Top-Down-Verfahren auf der Basis der final gesetzten Parkraumlinienmarkierungen.
-
Zusätzlich als ein Ergebnis der Evaluierung des gezeigten Verfahrens in rückseitigen Fahrzeugbildern, welche unter verschiedenen Parkraumlinienmarkierungssituationen fotografiert wurden, kann eine genauere und effektive Erfassungsrate zur Verfügung gestellt werden, welche 95,3% besser als die existierenden halbautomatischen Verfahren sind und eine sehr schnelle Prozessgeschwindigkeit von 0,689 Sekunden aufweist.
-
Zwischenzeitlich beinhaltet ein Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug gemäß einer weiteren beispielhaften Ausführungsform der vorliegenden Erfindung beinhaltet einen Eckenerfassungsprozess (S200), welcher ausgebildet ist, um eine gewinkelte Kante in einem Bild, welches die Parkraumlinienmarkierung beinhaltet, zu erfassen; einen Kreuzerfassungsprozess (S300), welcher ausgebildet ist, einen Kreuzungspunkt durch Kombination benachbarter Kanten entlang den erfassten Kanten zu erfassen; einen Raumerfassungsprozess (S400), welcher ausgebildet ist, einen Raum in einer Endumgebung der Parkraumlinienmarkierung durch Kombination der erfassten Kreuzungspunkte zu erfassen; und einen finalen Auswahlprozess (S600), welcher ausgebildet ist, einen finalen Raum durch Vergleichen der Helligkeiten der erfassten Räume auszuwählen. In dem finalen Auswählen wird die Parkraumlinienmarkierung erfasst durch Auswahl eines hellsten Raumes ohne die Verwendung eines Parkraumlinienmarkierungstyps, welcher im Voraus zur Verfügung gestellt ist.
-
Das Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug erfasst die Ecken einer Parkraumlinienmarkierung aus einem Bild einer Fahrzeugbildgebungseinrichtung, erfasst die Kreuzungspunkte durch Kombination von benachbarten Ecken, erfasst den Raum, welcher die Endumgebung der Parkraumlinienmarkierung ist durch Kombination von benachbarten Kreuzungspunkten, wählt den finalen Raum aus durch Ersetzen des erfassten Raums in den Parkraumlinienmarkierungstyp, welcher zur Verfügung gestellt wird im Voraus oder durch einen Vergleich der Helligkeit der Räume, und erkennt die Parkraumlinienmarkierung.
-
Gemäß einem Verfahren zum Erkennen einer Parkraumlinienmarkierung für ein Fahrzeug, welches die obige Struktur aufweist, da eine Parkraumlinienmarkierung automatisch erkannt wird durch ein Bild einer Bildgebungseinrichtung ohne die Eingabe eines Benutzers, ist eine Sensorvorrichtung nicht erforderlich und das System kann vollständig automatisch implementiert werden. Ferner können Parkraumlinienmarkierungen, welche verschiedene Situationen und Formen aufweisen, alle erfasst werden durch das Anwenden des Erfassens einer hierarchischen Struktur.
-
Während die Erfindung beschrieben wurde in Verbindung mit beispielhaften Ausführungsformen, sollte es verstanden werden, dass die vorliegende Beschreibung nicht gedacht ist, um die Erfindung auf solche beispielhaften Ausführungsformen einzuschränken. Im Gegensatz dazu ist die Erfindung dazu gedacht, nicht nur die beispielhaften Ausführungsformen abzudecken, sondern auch verschiedene Alternativen, Modifikationen, Äquivalente und andere Ausführungsformen, welche beinhaltet sein können in dem Geist und dem Bereich der Erfindung wie in den beigefügten Ansprüchen definiert.
