-
Stand der Technik
-
Die vorliegende Erfindung betrifft zwei Verfahren und eine Vorrichtung zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems, wobei sich das erste Verfahren auf eine Trainingsphase und das zweite Verfahren auf eine Ausführungsphase des Fahrerassistenzsystems bezieht.
-
Die Schrift
DE 10 2015 203 016 A1 offenbart ein Verfahren zum Lokalisieren eines Kraftfahrzeugs in einem Umfeld. Es weist ein Ausführen einer Lernfahrt auf.
-
Im Stand der Technik kommt der Erfassung des Umfeldes von Fortbewegungsmitteln mittels Sensoren und einem aus den Sensorinformationen abgeleiteten automatischen Eingriff in die Steuerung der Fortbewegungsmittel eine große Bedeutung zu. Auf diesem Wege lassen sich Fahrerassistenzsysteme realisieren, die beispielsweise die Sicherheit oder den Fahrkomfort erhöhen können. Ein solches Fahrerassistenzsystem ist beispielsweise der „Homezone Parkassistent“ der Robert Bosch GmbH, welches einen sich wiederholenden Einparkvorgang, ausgehend von einer festen Start- und Zielposition, automatisch ausführen kann. Voraussetzung dafür ist zunächst die Durchführung einer manuellen Trainingsfahrt, in der das Parkassistenzsystem die benötigten Umfeldinformationen entlang eines Bewegungspfades (auch „Trajektorie“) des Fortbewegungsmittels erfasst, diese auswertet und für einen späteren automatischen Einparkvorgang entlang dieses Bewegungspfades speichert.
-
Insbesondere im Zusammenhang mit sensorbasierten Fahrerassistenzsystemen können beim Erfassen von Umfeldinformationen mitunter große Datenmengen anfallen, welche die Umfeldinformationen repräsentieren. Da Fahrerassistenzsysteme i.d.R. in Form von Embedded-Systemen realisiert werden, stehen häufig nur knapp bemessene technische Ressourcen (Speicher, Rechenleistung, usw.) zur Verfügung, da die einzelnen Bauteilkosten aufgrund hoher Stückzahlen meist gering gehalten werden sollen. Aus diesem Grund ist insbesondere der zur Verfügung stehende nichtflüchtige Speicher wie Flash- oder EPROM-Speicher eines solchen Embedded-Systems häufig sehr klein dimensioniert. Um dennoch die potentiell großen Datenmengen eines sensorbasierten Fahrerassistenzsystems dauerhaft speichern zu können, sind somit zusätzliche Maßnahmen erforderlich, um alle notwendigen Daten im zur Verfügung stehenden Speicher ablegen zu können. Zu diesem Zweck werden häufig Verfahren zur Datenreduktion (verlustbehaftet) und Datenkomprimierung (nicht verlustbehaftet) eingesetzt. Je nach Art der erfassten und zu speichernden Daten erlauben die im Stand Technik bekannten Verfahren zur Datenreduktion und -komprimierung eine mehr oder weniger starke Verringerung der ursprünglichen Datenmenge. Insbesondere bei der Anwendung bekannter Datenreduktionsverfahren für Bild- oder Bewegtbildinformationen kann eine auf diesem Wege durchgeführte Datenreduktion ggf. nicht ausreichend sein, um die verbleibenden Daten vollständig in einem vorgegebenen, nichtflüchtigen Speicher ablegen zu können. Dies liegt darin begründet, dass diese Datenreduktionsverfahren auf einen möglichst vollständigen Erhalt der Bildinformationen (Bildauflösung, Inhalte des Bildes, usw.) ausgerichtet sind.
-
Bei einem Einsatz dieser Verfahren zur Bildverarbeitung in einem Embedded-System kann dies dazu führen, dass die Bildinformationen entweder in einem zusätzlichen Verarbeitungsschritt weiter reduziert werden müssen - was im Allgemeinen nur durch ein zusätzliches Verwerfen von möglicherweise relevanten Bildinformationen möglich ist - oder der für den konkreten Anwendungsfall unterdimensionierte, nichtflüchtige Speicher muss durch einen an die Datenmenge angepassten größeren Speicher ersetzt werden, was mit höheren Kosten einhergehen würde.
-
Neben dem Ziel die Datenmenge aus Speicherkapazitätsgründen zu verringern, kann eine reduzierte Datenmenge auch im Hinblick auf eine Übertragung der Daten von Vorteil sein, da eine geringere Datenmenge i.d.R. eine geringere Datenübertragungsrate erfordert. Dies kann bspw. beim Datenaustausch zwischen einem Prozessor und einem internen oder externen Speicher von Bedeutung sein, da sich auch hier Kosteneinsparungen durch den Einsatz weniger leistungsstarker (Embedded-) Systeme erzielen lassen.
-
Es ist daher eine Aufgabe der vorliegenden Erfindung, die im Stand der Technik bekannten Verfahren zur Datenreduktion bzw. -komprimierung im Hinblick auf die Speicherung von merkmalsbasierten Umfeldinformationen zu optimieren.
-
Offenbarung der Erfindung
-
Die vorstehend genannte Aufgabe wird erfindungsgemäß durch ein Verfahren zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems eines Fortbewegungsmittels gelöst. Das Verfahren sieht vor, ein erstes Bild eines Umfeldes eines Fortbewegungsmittels aus einer ersten Position mittels eines optischen Sensors des Fortbewegungsmittels aufzunehmen. Der optische Sensor kann dabei beispielsweise eine Kamera des Fahrerassistenzsystems sein, welche an geeigneter Stelle am Fortbewegungsmittel angeordnet ist, so dass die benötigten Umfeldinformationen optimal erfasst werden können. Das Verfahren sieht in einem nächsten Verfahrensschritt vor, ein zweites Bild des Umfeldes des Fortbewegungsmittels aus einer zweiten Position aufzunehmen, welche nicht identisch mit der ersten Position ist. Dies kann am Beispiel eines Parkassistenzsystems dadurch erreicht werden, dass das Fortbewegungsmittel zunächst in eine durch einen Anwender festzulegende Startposition manövriert wird. Bevorzugt handelt es sich im Zusammenhang mit dem oben beschriebenen Homezone-Parkassistenzsystem bei der Startposition um einen Bereich in der unmittelbaren Nähe (z.B. 10 m - 100 m) zu einer Parkmöglichkeit. Dies kann beispielsweise der Anfang einer Garageneinfahrt auf einem Grundstück abseits einer Straße sein, an welcher ein Anwender das Fortbewegungsmittel verlangsamt oder zum Halten bringt, um es für einen automatischen Einparkvorgang anzulernen. Anschließend kann der Anwender das Parkassistenzsystem mittels einer entsprechenden Anwenderaktion in einen Trainingsmodus versetzen. Daraufhin kann er den gewünschten Einparkvorgang zu Trainingszwecken ein oder mehrmals manuell ausführen, während das Parkassistenzsystem diesen Vorgang mittels einer Kamera erfasst. Die Aufnahme des ersten und des zweiten Bildes des Umfelds des Fortbewegungsmittels kann beispielsweise nach unterschiedlichen vordefinierten zurückgelegten Wegstrecken des Fortbewegungsmittels durchgeführt werden, die jeweils für das erste und das zweite Bild festgelegt wurden.
-
In einem nächsten Verfahrensschritt werden aus den aufgenommenen Bildern Merkmale (auch „features“) extrahiert, die die Bilder bzw. die darin enthaltenen Umgebungsinformationen in geeigneter Weise repräsentieren. Die Merkmalsdaten können beispielsweise durch eine Auswerteeinheit ermittelt werden, die Bestandteil des Fahrerassistenzsystems ist. Die Überführung der ursprünglichen Bildinformationen in einen durch die Merkmale festgelegten Merkmalsraum stellt die Grundlage für die nachfolgenden Verfahrensschritte dar. Einer der Vorteile der Extraktion und Verarbeitung von Merkmalsdaten liegt darin, dass anwendungsspezifische Informationen gezielt aus beliebigen Datenquellen gewonnen werden können, wodurch zum einen eine Filterung der für die jeweilige Anwendung benötigten relevanten Informationen stattfindet und zum anderen eine verbesserte Vergleichbarkeit dieser Informationen erreicht wird.
-
Bevorzugt werden die extrahierten Merkmale, wie beispielsweise Informationen über die Helligkeit, den Kontrast oder die Farbinformation einzelner Bildpunkte oder auch ganzer Bildregionen in Form von Merkmalsvektoren zusammengefasst. Beispiele für die Bildung geeigneter Merkmale und/oder Merkmalsvektoren werden u.a. in folgenden Veröffentlichungen diskutiert:
- - Chandrasekhar, Vijay, et al. „Compressed histogram of gradients: A low-bitrate descriptor." International journal of computer vision 96.3 (2012): 384-399,
- - Makar, Mina, et al. „Compression of image patches for local feature extraction." 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2009, und
- - Ji, Rongrong, et al. „Location discriminative vocabulary coding for mobile landmark search." International Journal of Computer Vision 96.3 (2012): 290-314.
-
Die extrahierten Merkmalsvektoren werden bevorzugt in Form einer Merkmalsmatrix (auch „feature map“) zusammengefasst. Erfindungsgemäß orientiert sich die Dimension der Merkmalsmatrix an der Dimension der ursprünglichen Bilder. D.h., dass ein Bild bestehend aus MxN Bildelementen in eine Merkmalsmatrix überführt wird, die MxN Merkmalsvektoren enthält. Die Dimension der Merkmalsmatrix ist aber nicht zwingend an die Dimension des Bildes gekoppelt.
-
Erfindungsgemäß wird die Merkmalsmatrix in einem nächsten Verfahrensschritt einer Filterung unterzogen, um ggf. nicht benötigte Informationen der Merkmalsmatrix mit dem Ziel einer Datenreduktion verwerfen zu können. Zu diesem Zweck können einzelne Elemente und/oder Bereiche der Merkmalsmatrix mit einem vordefinierten Bewertungskriterium bewertet werden. Elemente, die das Bewertungskriterium nicht erfüllen werden in der Merkmalsmatrix als ungültig markiert. Ein bevorzugtes Bewertungskriterium stellt die Kontrastinformation von Bildpunkten oder Bildbereichen dar. Bereiche mit hohem Kontrast beinhalten i.d.R. wichtige Informationen für das erfindungsgemäße Verfahren, wobei Bereiche mit niedrigem Kontrast verworfen werden können. Ob ein Kontrast als hoch oder niedrig bewertet wird, kann dabei vom Rauschen des Bildsensors abhängig gemacht werden. Ein Kontrast kann als zu niedrig bewertet werden, wenn er auch vom Rauschen des Bildsensors hervorgerufen sein könnte. Aus Bildbereichen mit entsprechend niedrigem Kontrast auf dem Niveau des Bildsensor-Rauschens lassen sich keine besonders zuverlässigen Informationen gewinnen, weshalb solche Bildbereiche oder Merkmalsmatrix-Elemente als ungültig markiert werden können. Die Kontrastinformation kann beispielsweise direkt aus der Merkmalsmatrix entnommen werden, sofern diese im Zuge der Merkmalsextraktion als eigenständiges Merkmal extrahiert wurde. Alternativ oder zusätzlich kann die Kontrastinformation auch aus den ursprünglichen Bildinformationen ermittelt werden. Für den Fall, dass die Dimension des Bildes und die seiner zugehörigen Merkmalsmatrix identisch ist, lässt sich die aus dem Bild ermittelte Kontrastinformation direkt auf die Elemente der Merkmalsmatrix übertragen, so dass die entsprechenden Elemente oder Bereiche der Merkmalsmatrix als ungültig markiert werden können, sofern sie das Bewertungskriterium nicht erfüllen.
-
In einem nächsten Verfahrensschritt wird die gefilterte Merkmalsmatrix des ersten Bildes mit der gefilterten Merkmalsmatrix des zweiten Bildes verglichen. Ziel ist es, auf Basis der extrahierten Merkmale größtmögliche Ähnlichkeiten zwischen den Merkmalen der an unterschiedlichen Positionen aufgenommenen Bilder zu identifizieren und diese zu selektieren. Diese Ähnlichkeiten stellen i.d.R. wesentliche Objekte des Umfeldes des Fortbewegungsmittels dar, anhand derer sich das Parkassistenzsystem nach einer erfolgreich abgeschlossenen Trainingsphase im Zuge eines automatischen Einparkvorgangs orientieren kann. Merkmale bzw. Merkmalsvektoren, die nicht in ähnlicher Form sowohl in der Merkmalsmatrix des ersten Bildes als auch in der Merkmalsmatrix des zweiten Bildes enthalten sind, werden in einer resultierenden Merkmalsmatrix für die beiden Bilder als ungültig gekennzeichnet. Zur Feststellung von Ähnlichkeiten zwischen Merkmalen und/oder Merkmalsvektoren können aus dem Stand der Technik bekannte Ähnlichkeits- bzw. Distanzmaße eingesetzt werden.
-
Durch das Als-Ungültig-Kennzeichnen und/oder Entfernen nicht oder nur schwach ähnlicher Merkmale in der resultierenden Merkmalsmatrix wird i.d.R. eine sogenannte schwachbesetzte Matrix erzeugt, da diese nur noch teilweise mit Merkmalsinformationen besetzt ist, während große Teile der Matrix als ungültig markiert sind und keine Merkmalsinformationen mehr beinhalten. Auf diesem Wege wird die Menge der Daten, die die resultierende Merkmalsmatrix repräsentieren, weiter reduziert. Dabei kann in Abhängigkeit der Organisation der resultierenden Merkmalsmatrix im Speicher bereits eine physikalische Reduktion des benötigten Speicherplatzes erzielt werden, indem bspw. nur die relevanten Merkmalsinformationen in Form einer verketteten Liste verknüpft werden. Somit sind die nicht relevanten Merkmalsinformationen nicht mehr Bestandteil der resultierenden Merkmalsmatrix (auch nicht in Form ungültig markierter Daten) und beanspruchen daher auch keinen Speicherplatz mehr. Alternativ oder zusätzlich zur Organisation der Merkmalsdaten als verkette Liste können die oben beschriebenen Verfahrensschritte aber auch als Vorbereitung eines im Anschluss durchzuführenden Komprimierungsvorgangs dienen, welcher dann die eigentliche physikalische Reduktion des benötigten Speicherplatzes umsetzt.
-
Der interne Speicher ist meistens klein bemessen, bietet aber den Vorteil, dass er eine schnelle Anbindung aufweist, d.h. Schreib- und Lese-Prozesse auf den internen Speicher können sehr schnell erfolgen. Auf den nichtflüchtigen Speicher (der klein oder groß bemessen sein kann), sind solch schnelle Zugriffe nicht möglich. Daher werden die Zwischenergebnisse der Rechenoperationen der Auswerteeinheit zu den oben beschriebenen Verfahrensschritten bevorzugt in einem flüchtigen, internen Speicher abgelegt. Erst die maximal reduzierten Merkmalsdaten werden am Ende der Trainingsphase in den nichtflüchtigen Speicher geschrieben.
-
Das erfindungsgemäße Verfahren ist dabei nicht beschränkt auf die Aufnahme und Verarbeitung eines ersten und eines zweiten Bildes. Im Zusammenhang mit der Trainingsphase eines Parkassistenzsystems wird vorteilhaft eine Mehrzahl an Bildern während der Trainingsphase aufgenommen und den oben beschriebenen Verfahrensschritten unterzogen.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
In einer weiteren bevorzugten Ausführungsform werden die Daten der durch das erfindungsgemäße Verfahren selektierten Merkmale durch die Anwendung von bekannten Komprimierungsverfahren weiter reduziert. Zu diesem Zweck kann beispielsweise eine Lauflängencodierung eingesetzt werden, die insbesondere die Daten der schwachbesetzten Merkmalsmatrix besonders effizient komprimieren kann. Dies ist möglich, da die nicht mit Merkmalsinformationen besetzten Elemente der Matrix (welche beispielsweise mit dem Wert „0“ belegt sind) häufig zusammenhängende Bereiche der Matrix einnehmen, so dass ein wiederholtes Auftreten des Wertes „0“ durch die Lauflängencodierung in verkürzter Form unter Angabe des Wertes und der Häufigkeit des Auftretens des Wertes repräsentiert wird. Finden sich in der Merkmalsmatrix beispielsweise folgende aufeinanderfolgende Einträge von nicht besetzten Elementen wie „000000“, so wird diese Sequenz durch die Lauflängencodierung in der komprimierten Form als „6x0“ dargestellt, was hier „sechs mal Null“ bedeutet.
-
Alternativ oder zusätzlich zur Lauflängencodierung kann auch eine Entropiecodierung wie die aus dem Stand der Technik bekannte Huffman-Codierung zum Einsatz kommen. Diese erreicht eine Komprimierung der Daten dadurch, dass häufig vorkommenden Zeichen durch kürzere Codewörter repräsentiert werden und selten vorkommende Zeichen durch längere Codewörter. Dies kann insbesondere bei der Komprimierung der als nicht ungültig markierten Merkmalsvektoren der Merkmalsmatrix zu einer effizienten Komprimierung der Daten führen.
-
In einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird die Aufnahme des ersten und des zweiten Bildes mittels des optischen Sensors beim Erreichen unterschiedlicher vordefinierter Entfernungen bezüglich einer Startposition durchgeführt. In modernen Fortbewegungsmitteln stehen auf den unterschiedlichen Bussystemen des Fortbewegungsmittels im Allgemeinen auch Daten über die zurückgelegte Wegstrecke des Fortbewegungsmittels zur Verfügung. Diese Daten können dem Parkassistenzsystem mittels eines Dateneingangs zur Verfügung gestellt werden, so dass dieses in der Lage ist, bei einer Bewegung des Fortbewegungsmittels dessen zurückgelegte Wegstrecke ausgehend von einer Startposition zu ermitteln. So kann das Parkassistenzsystem das erste Bild beispielsweise bei einer Entfernung von 1 m Abstand zur Startposition aufnehmen und das zweite Bild bei einem Abstand von 2 m zur Startposition. Evtl. weitere Bilder können wiederum bei jeweils einem Meter weiterer Entfernung zur Startposition aufgenommen werden. In diesem Zusammenhang ist es auch denkbar, variierende Entfernungen zwischen den einzelnen Aufnahmen zuzulassen. Z.B. wenn das Fortbewegungsmittel während der Trainingsfahrt eine Kurve durchfährt. Hier kann es sinnvoll sein, die Entfernung zwischen den Aufnahmen zu verkürzen, da durch die Kurvenfahrt eine schnelle horizontale Veränderung von Umfeldinformationen bewirkt wird, wodurch bei einem zu großen Abstand zwischen den einzelnen Aufnahmen ggf. wichtige Umfeldinformationen nicht erfasst werden können. Bevorzugt liegt der zu wählende Abstand zwischen den einzelnen Bildern zwischen 50 cm und 2 m.
-
In einer weiteren erfindungsgemäßen Ausführungsform werden die Aufnahmen alternativ oder zusätzlich zu den oben beschriebenen vordefinierten Entfernungen zur Startposition zu vordefinierten Zeitpunkten durchgeführt. So kann die Aufnahme des ersten Bildes beispielsweise nach 1 s nach Beginn der Trainingsfahrt erfolgen und die zweite Aufnahme nach Ablauf einer weiteren Sekunde. Dies ist insbesondere dann von Vorteil, wenn dem Parkassistenzsystem keine oder nur sehr ungenaue Informationen über die zurückgelegte Wegstrecke zur Verfügung stehen.
-
In einer weiteren vorteilhaften Ausgestaltung können die zeitlichen Abstände zwischen den einzelnen Aufnahmen soweit verkürzt werden, dass während der Trainingsfahrt eine kontinuierliche Bildaufnahme durchgeführt wird. Bevorzugt wird dies durch den Einsatz einer Videokamera umgesetzt, welche eingerichtet ist, Bilder des Umfelds mit einem zeitlichen Abstand von 1/24 s bzw. 1/25 s aufzunehmen. Das Erzeugen einer kontinuierlichen Bildaufnahme während der Trainingsfahrt bietet den Vorteil, dass quasi lückenlose Umfeldinformationen ausgehend von der Startposition bis zur Zielposition für eine Auswertung zur Verfügung stehen. Voraussetzung hierfür ist das Vorhandensein eines ausreichend großen flüchtigen Speichers, in dem die Videoaufnahme zwischengespeichert werden kann. So ist es möglich, nach Beendigung der Trainingsfahrt diejenigen Einzelbilder aus den Videodaten zu ermitteln, die den Bewegungspfad des Fortbewegungsmittels am besten bzw. eindeutig repräsentieren. Bei der Aufnahme von Bildern nach vordefinierten Entfernungen und/oder zu vordefinierten Zeitpunkten kann es vorkommen, dass evtl. nützliche Umfeldinformationen für einen automatischen Einparkvorgang in der Ausführungsphase nicht erfasst werden. Die Videoaufnahme erlaubt im Vergleich dazu eine nachträgliche optimale Auswahl an Einzelbildern, die dann dem oben beschriebenen Verfahren zur Merkmalsextraktion unterzogen werden können. Auf diese Weise kann die Qualität der Umfeldinformationen optimiert und daraus resultierend der automatische Einparkvorgang zuverlässiger durchgeführt werden. Neben der Erhöhung der Zuverlässigkeit der Umfeldinformationen kann dieses Verfahren auch zu einer erhöhten Datenreduktion führen, indem bei der Auswahl der Einzelbilder aus der Videoaufnahme nicht nur die Qualität der Umfeldinformationen berücksichtigt wird, sondern auch deren Eignung im Hinblick auf das erfindungsgemäße Verfahren zur Datenreduktion.
-
Anstatt die Videoaufnahme nachträglich auszuwerten, kann die Auswertung der Videoaufnahme auch fortlaufend erfolgen. Dieses Vorgehen hat den Vorteil, dass kein großer flüchtiger Speicher benötigt wird. Dabei werden für die Aufnahme des zweiten Bildes immer wieder in kurzem zeitlichen Abstand, z.B. 1/25 s, Bilder als Kandidaten aufgenommen und jeweils umgehend ausgewertet. In Abhängigkeit der Auswertung wird entschieden, ob das aktuelle Bild als zweites Bild verwendet wird. Ist dies nicht der Fall, so wird das Bild umgehend verworfen (beansprucht also keinen Speicher mehr) und das nachfolgend aufgenommene Bild wird für eine erneute Auswertung herangezogen. Bei der Auswertung wird überprüft, ob ein signifikanter Unterschied zwischen dem Kandidaten und dem ersten Bild vorliegt. Ist dies der Fall, kann der Kandidat als zweites Bild ausgewählt werden. Ein signifikanter Unterschied liegt z.B. vor, wenn sich aufgrund einer Bewegung des Fortbewegungsmittels um beispielsweise einen Meter der Bildinhalt entsprechend verändert hat. Dies kann mit Mitteln einer Bildsequenzanalyse erfolgen, die dem Fachmann bekannt ist, z.B. durch die Ermittlung des optischen Flusses.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren zur Datenreduktion merkmalsbasierter Umfeldinformationen eines Fahrerassistenzsystems in einer Ausführungsphase vorgeschlagen. Das Verfahren sieht vor, ein Bild eines Umfeldes eines Fortbewegungsmittels mittels eines optischen Sensors des Fortbewegungsmittels aufzunehmen. Der optische Sensor kann dabei beispielsweise eine Kamera eines Parkassistenzsystems sein, welche an geeigneter Stelle am Fortbewegungsmittel angeordnet ist, so dass die benötigten Umfeldinformationen optimal erfasst werden können.
-
Das Fortbewegungsmittel befindet sich zu Beginn des Verfahrens in einer Startposition, die mit der Startposition des Fortbewegungsmittels in der zuvor beschriebenen Trainingsphase für ein Parkassistenzsystem weitestgehend übereinstimmt. Da die Startposition für das Fortbewegungsmittel in der Trainingsphase und in der Ausführungsphase jeweils manuell angesteuert wird, ist für die Startposition ein vordefinierter Toleranzbereich vorgesehen, in welchem sich das Fortbewegungsmittel für die Durchführung eines automatischen Einparkvorgangs befinden muss. Im nächsten Verfahrensschritt werden die Bildinformationen wie in der Trainingsphase in einen Merkmalsraum überführt, indem zu jedem Bildpunkt des ursprünglichen Bildes vordefinierte Merkmale extrahiert werden, die wiederum in Form von Merkmalsvektoren in einer Merkmalsmatrix gespeichert werden. Im nächsten Verfahrensschritt werden die Merkmalsvektoren einer Filterung unterzogen, indem alle Merkmalsvektoren, die nicht einem vordefinierten Bewertungskriterium entsprechen, in der Merkmalsmatrix als ungültig gekennzeichnet werden.
-
Im nächsten Verfahrensschritt werden die verbleibenden gültigen Merkmalsvektoren der Merkmalsmatrix mit den im Zuge der Trainingsphase erstellten, das Umfeld beschreibenden Merkmalsmatrizen abgeglichen. Durch den Einsatz geeigneter Distanz- bzw. Ähnlichkeitsmaße lässt sich auf diesem Wege eine größtmögliche Übereinstimmung mit einer der im Speicher hinterlegten Merkmalsmatrizen ermitteln. Die ermittelte Übereinstimmung mit einer der hinterlegten Merkmalsmatrizen erlaubt eine Ermittlung der aktuellen Position des Fortbewegungsmittels. Dies wiederum erlaubt eine automatische Steuerung des Fortbewegungsmittels anhand der ermittelten Positionsdaten auf seinem Weg von der vordefinierten Startposition zu einer in der Trainingsphase festgelegten Zielposition.
-
Gemäß einem dritten Aspekt der Erfindung wird eine Vorrichtung vorgeschlagen, umfassend einen Dateneingang, eine Auswerteeinheit und einen Datenausgang. Die Auswerteeinheit ist eingerichtet, in Verbindung mit dem Dateneingang Bilder eines Umfelds eines Fortbewegungsmittels mittels eines optischen Sensors aufzunehmen. Der optische Sensor kann beispielsweise eine Kamera sein. Die Auswerteeinheit ist weiterhin eingerichtet, mittels eines Bildanalyseverfahrens Merkmale aus den aufgenommenen Bildern zu extrahieren und diese hinsichtlich ihrer Relevanz für das oben beschriebene Parkassistenzsystem zu bewerten. Weiterhin ist die Auswerteeinheit eingerichtet, in der Trainingsphase des Parkassistenzsystems Ähnlichkeiten zwischen den als relevant gekennzeichneten Merkmalen zweier Bilder zu ermitteln und diese in Form von die Ähnlichkeiten repräsentierenden Daten in einer an die Auswerteeinheit angebundenen Speichereinheit abzulegen. Weiterhin ist die Auswerteeinheit eingerichtet, in der Ausführungsphase des Parkassistenzsystems Ähnlichkeiten zwischen den relevanten Merkmalen eines der erfassten Bilder und den in einer Speichereinheit hinterlegten relevanten Merkmalen von zuvor in der Trainingsphase aufgenommenen Bildern zu ermitteln.
-
Die Auswerteeinheit ist weiterhin eingerichtet, die ermittelten Merkmale in der Trainingsphase über einen Datenausgang in einer Speichereinheit abzulegen und die ermittelten Ähnlichkeiten von Merkmalen in der Ausführungsphase über einen Datenausgang an eine Fahrzeugsteuerung zu signalisieren, welche den automatischen Einparkvorgang ausführt.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:
- 1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens in einer Trainingsphase;
- 2 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens in einer Ausführungsphase;
- 3 eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung; und
- 4 eine beispielhafte Trainingsfahrt für ein Homezone-Parkassistenzsystem eines Fortbewegungsmittels.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens in einer Trainingsphase 60. Dabei wird im Schritt 100 ein erstes Bild eines Umfeldes eines Fortbewegungsmittels 70 aus einer ersten Position 81 mittels eines optischen Sensors 20 aufgenommen. Im Schritt 200 wird ein zweites Bild des Umfeldes des Fortbewegungsmittels 70 aus einer von der ersten Position 81 abweichenden zweiten Position 82 mittels des optischen Sensors 20 aufgenommen. Im Schritt 300 werden mittels einer Auswerteeinheit 10 Merkmale extrahiert, welche das erste Bild repräsentieren. Weiterhin werden Merkmale extrahiert, welche das zweite Bild repräsentieren. Die extrahierten Merkmale werden in Form einer Merkmalsmatrix für das erste Bild und einer Merkmalsmatrix für das zweite Bild in einem flüchtigen Speicher 30 abgelegt, welcher an die Auswerteeinheit 10 angebunden ist. Im Schritt 400 werden einzelne Bereiche des ersten und des zweiten Bildes anhand ihrer Kontrastinformation mittels der Auswerteeinheit 10 bewertet. Bereiche mit niedrigem Kontrast werden in der jeweiligen Merkmalsmatrix im flüchtigen Speicher 30 als ungültig markiert, da sie i.d.R. keine für das Parkassistenzsystem relevanten Informationen enthalten. Im Schritt 500 werden die zuvor bewerteten Merkmalsmatrizen des ersten und des zweiten Bildes mittels eines Merkmalsvergleichs bzgl. Ähnlichkeiten zwischen den beiden Matrizen untersucht. Dabei werden Bereiche, die keine signifikante Ähnlichkeit aufweisen, in einer resultierenden Merkmalsmatrix als ungültig markiert. Bereiche mit relevanten Übereinstimmungen werden in die resultierende Merkmalsmatrix unverändert übernommen. Die resultierende Merkmalsmatrix wird dabei im Zuge ihrer Erstellung ebenfalls im flüchtigen Speicher 30 abgelegt. Nach der vollständigen Ermittlung der resultierenden Merkmalsmatrix wir diese in einem nichtflüchtigen Speicher 40 abgelegt.
-
2 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens in einer Ausführungsphase. Dabei wird im ersten Schritt 100 ein Bild eines Umfeldes eines Fortbewegungsmittels 70 aus einer Position 81 mittels eines optischen Sensors 20 aufgenommen. Im Schritt 600 werden mittels einer Auswerteeinheit 10 Merkmale extrahiert, welche das Bild repräsentieren. Die extrahierten Merkmale werden in Form einer Merkmalsmatrix in einem flüchtigen Speicher 30 abgelegt, welcher an die Auswerteeinheit 10 angebunden ist. Im Schritt 700 werden einzelne Bereiche des Bildes anhand ihrer Kontrastinformation mittels der Auswerteeinheit 10 bewertet. Bereiche mit niedrigem Kontrast werden in der Merkmalsmatrix im flüchtigen Speicher 30 als ungültig markiert, da sie i.d.R. für das Parkassistenzsystem keine relevanten Informationen enthalten. Im Schritt 800 werden die bewerteten Merkmale des Bildes mit Referenzen abgeglichen, welche die in einer Trainingsphase (60) aufgenommene Mehrzahl von Bildern in Form von selektierten Merkmalen repräsentieren.
-
3 zeigt eine schematische Übersicht über Komponenten einer erfindungsgemäßen Vorrichtung 50 umfassend eine Auswerteeinheit 10, einen Dateneingang 11 und einen Datenausgang 12. Die Auswerteeinheit umfasst einen Prozessor zur Ermittlung und Bewertung von Merkmalsdaten, welche aus den Signalen einer an den Dateneingang 11 der Auswerteeinheit 10 angeschlossenen Kamera 20 extrahiert werden. Weiterhin umfasst die erfindungsgemäße Vorrichtung einen (bevorzugt internen) flüchtigen und einen nichtflüchtigen Speicher 30, 40, welche über die Datenausgänge 12 und 13 an die Auswerteeinheit 10 angebunden sind.
-
4 zeigt eine beispielhafte Trainingsfahrt 60 für ein Homezone-Parkassistenzsystem eines Fortbewegungsmittels 70. Die Homezone-Trainingsfahrt umfasst ein Verlangsamen oder Anhalten des Fortbewegungsmittels 70 in einer durch den Anwender zu wählenden Homezone-Startposition 91. Durch eine anschließende Anwenderaktion wird die Homezone-Trainingsfahrt 60 gestartet. Der Anwender steuert das Fortbewegungsmittel 70 dabei entlang eines geeigneten Bewegungspfads 90 zu einer durch den Anwender zu wählenden Homezone-Zielposition 92. Mittels des am Fortbewegungsmittel 70 angeordneten optischen Sensors 20 werden nun an vordefinierten Positionen 80 Aufnahmen des Umfeldes des Fortbewegungsmittels 70 getätigt, welche durch die Auswerteeinheit des Parkassistenzsystems z.B. entsprechend den in Verbindung mit 1 offenbarten Verfahren verarbeitet werden.
