-
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem sowie ein Fahrzeug.
-
Es sind Parkassistenzsysteme bekannt, die eine bestimmte, nachzufahrende Trajektorie anlernen können, wobei in einem Trainingsmodus das Fahrzeug manuell entlang der später nachzufahrenden Trajektorie gefahren wird. Während dieser Trainingsfahrt werden über die Sensorik des Fahrzeugs Umgebungsdaten erfasst und gespeichert, die bei dem späteren Nachfahren eine Lokalisation des Fahrzeugs ermöglichen sollen. Dies kann beispielsweise mittels VSLAM erfolgen, wobei Kamerabilder erfasst und ausgewertet werden und so eine aktuelle Position des Fahrzeugs ermittelt wird.
-
Bei diesem Verfahren ist es wichtig, dass die gespeicherten Umgebungsdaten aktuell sind, da ansonsten eine Lokalisation nicht möglich ist. Da sich die Umgebung mit der Zeit verändern kann, beispielsweise da bewegliche Objekte entfernt, hinzugefügt oder verschoben werden, oder auch da bauliche Maßnahmen in der Umgebung vorgenommen werden, stellt sich das Problem, dass die Umgebungsdaten ihre Aktualität verlieren können. Um die Lokalisation weiterhin erfolgreich durchführen zu können, muss eine Aktualisierung der gespeicherten Umgebungsdaten durchgeführt werden.
-
DE 10 2017 115 991 A1 offenbart ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, bei dem in einer Trainingsphase des Fahrerassistenzsystems, während der das Kraftfahrzeug von einem Fahrer manuell entlang einer Trajektorie manövriert wird, die Trajektorie gespeichert und anhand zumindest eines Bilds, welches mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, eine Mehrzahl von Objektmerkmalen, gespeichert wird. In einer Betriebsphase des Fahrerassistenzsystems wird das Kraftfahrzeug anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale semi-autonom entlang der gespeicherten Trajektorie manövriert. Dabei wird in dem Betriebsmodus eine Mehrzahl von Objektmerkmalen erkannt und es werden die erkannten Objektmerkmale den gespeicherten Objektmerkmalen zugeordnet. Auf Basis der Zuordnung wird entschieden, ob ein erneutes Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern.
-
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerichtet. Der Trainingsmodus umfasst:
- A1) manuelles Fahren des Fahrzeugs entlang der Trajektorie,
- A2) Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs während des manuellen Fahrens,
- A3) Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parameter charakterisiert ist, und
- A4) Speichern eines Datensatzes umfassend die ermittelten Merkmale. Der Nachfahrmodus umfasst:
- B1) Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs während des Nachfahrens,
- B2) Ermitteln der optischen Merkmale in dem empfangenen aktuellen Bild,
- B3) Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bildes,
- B4) Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und
- B5) Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
-
Dieses Verfahren weist den Vorteil auf, dass eine Aktualisierung des gespeicherten Datensatzes mit den optischen Merkmalen, die der Lokalisierung des Fahrzeug in dem Nachfahrmodus dienen, nur dann aktualisiert wird, wenn eine statistische Signifikanz für eine notwendige Aktualisierung ermittelt wird. Damit einerseits vermieden, dass bereits bei kleineren Veränderungen in der Umgebung eine Aktualisierung durchgeführt wird, weshalb eine hierfür notwendige Rechenleistung, die von dem Parkassistenzsystem oder einer anderen Recheneinheit des Fahrzeugs bereitgestellt werden müsste, nicht beansprucht wird. Damit steht die Rechenleistung für andere Prozesse zur Verfügung, was beispielsweise zu einer erhöhten Sicherheit, Zuverlässigkeit und/oder Geschwindigkeit anderer laufender Prozesse beiträgt. Andererseits ist durch das Verfahren ein zuverlässiges, weil rein auf Statistik beruhendes Maß vorhanden, um zuverlässig zu beurteilen, ob eine Aktualisierung eines jeweiligen Datensatzes nützlich ist, also beispielsweise signifikant zu einer verbesserten Lokalisierung des Fahrzeugs beiträgt.
-
In dem Trainingsmodus wird das Fahrzeug insbesondere manuell von einem Nutzer des Fahrzeugs bewegt. Hierunter wird verstanden, dass der Nutzer jederzeit die Kontrolle über das Fahrzeug ausübt. Es ist jedoch nicht ausgeschlossen, dass hierbei eine Fernsteuerung und/oder selbstlenkende und/oder selbstfahrende Systeme des Fahrzeugs zum Einsatz kommen, wobei auch sensorgestützte Entscheidungen über eine Fahrtrichtungsänderung durch das Fahrzeug vorgeschlagen und/oder durchgeführt werden können.
-
Das empfangene Bild ist insbesondere ein Bild, das von einer fahrzeugeigenen Kamera empfangen wird, beispielsweise einer Frontkamera. Es kann sich dabei auch um ein Bild handeln, das aus mehreren Bildern unterschiedlicher Kameras und/oder zu unterschiedlichen Zeitpunkten erfasster Bilder zusammengesetzt ist. Das empfangene Bild kann insbesondere einen erweiterten Spektralbereich umfassen, beispielsweise kann das Bild optische Informationen im nahen Infrarotbereich und im UV-Bereich umfassen. Beispielsweise weist das Bild eine spektrale Information zwischen 2500 nm - 150 nm auf. Weiterhin kann das Bild Informationen in einem oder mehreren scharf begrenzten Spektralbereichen aufweisen, die beispielsweise unter Verwendung von entsprechenden Band- oder Linienfiltern erfasst wurden, was einen Kontrast zur Ermittlung der optischen Merkmale in dem jeweiligen Bild optimieren kann. Das empfangene Bild ist insbesondere ein digitales Bild, in Form einer zweidimensionalen Pixelmatrix darstellbar ist, wobei die Pixelmatrix mehrere Ebenen aufweisen kann, wobei eine jeweilige Ebene beispielsweise die Information eines bestimmten Spektralbereichs enthält. So kann bei einem farbigen Bild vorgesehen sein, dass dieses drei Ebenen entsprechend drei erfassten Farbkanälen, insbesondere rot, grün und blau (RGB), aufweist.
-
Die optischen Merkmale, die in dem Bild ermittelt werden, weisen beispielsweise bestimmte Charakteristika auf, wie einen bestimmten Kontrast zwischen benachbarten Pixeln und/oder über eine Mehrzahl von Pixeln hinweg, eine bestimmte Form, wie eine runde Form, eine kantige Form, eine längliche Form, eine wellige Form und dergleichen mehr. Zur Ermittlung der optischen Merkmale können verschiedene Bildverarbeitungsmethoden und/oder Bildtransformationen verwendet und in unterschiedlicher Reihenfolge miteinander kombiniert werden. Weiterhin können neuronale Netzwerke verwendet werden, insbesondere um eine Objektklassifikation von in dem Bild sichtbaren Objekten durchzuführen.
-
Ein jeweiliges Merkmal ist insbesondere durch mehrere Parameter charakterisiert. Diese Parameter umfassen insbesondere die Position des Merkmals in dem Bild, wobei die Position wenigstens durch zwei Koordinaten, zum Beispiel einem x-Wert und einem Y-Wert, festgelegt ist, eine „Farbe“ des Merkmals, eine Form des Merkmals, eine Ausdehnung des Merkmals, die beispielsweise durch die Anzahl der Pixel, die das Merkmal überdeckt, angegeben werden kann, eine Klassifikation des Merkmals und dergleichen mehr. Die „Farbe“ eines jeweiligen Merkmals kann beispielsweise durch eine Angabe einer Intensität (Helligkeitsinformation) des Merkmals bei einer bestimmten Wellenlänge oder bei einem bestimmten Filter angegeben werden. Beispielsweise ist die Intensität durch den Wert eines einem Pixel zugeordneten Eintrags der Pixelmatrix bestimmt. Die Anzahl möglicher Werte, die ein Parameter einnehmen kann, reicht von binär („0“ oder „1“) bis hin zu quasi-kontinuierlich ohne obere und/oder untere Grenze. „Quasi-kontinuierlich“ deshalb, weil die Daten vorliegend digital verarbeitet werden, weshalb die Parameterwerte quantisiert vorliegen, auch wenn der korrespondierende Parameter selbst von kontinuierlicher Natur ist.
-
In einem einzelnen Bild werden vorzugsweise wenigstens 50 optische Merkmale und bis zu 5000 optische Merkmale ermittelt. Hierbei gilt zu beachten, dass eine größere Zahl optischer Merkmale einen entsprechend größeren Speicherbedarf zum Speichern des Datensatzes benötigt. Andererseits steigt die Genauigkeit einer Lokalisierung zwar mit zunehmender Anzahl optischer Merkmale an, jedoch flacht dieser Anstieg mit zunehmender Anzahl ab. Bevorzugt werden pro Bild zwischen 100 und 500 optische Merkmale ermittelt und in dem Datensatz gespeichert.
-
Der Datensatz umfasst beispielsweise eine Liste oder Tabelle der optischen Merkmale, wobei jedem Merkmal die entsprechenden Parameterwerte zugeordnet sind. Nicht alle ermittelten optischen Merkmale umfassen zwingend für jeden möglichen Parameter auch einen entsprechenden Wert, oder sie weisen einen Wert auf, der einen Parameter als „unbestimmt“ kennzeichnet.
-
Das Empfangen der Bilder und Ermitteln der optischen Merkmale wird in dem Trainingsmodus und dem Nachfahrmodus insbesondere in der gleichen Art durchgeführt, beispielsweise kommen die gleichen Bildverarbeitungsmethoden zum Einsatz. Hierbei kann jedoch vorgesehen sein, dass eine Genauigkeit, mit der einzelne oder mehrere Rechenoperationen durchgeführt, variiert, beispielsweise in Abhängigkeit der verfügbaren Systemressourcen. Dies schließt nicht aus, dass im Laufe der Nutzungsdauer des Parkassistenzsystems im Rahmen eines Systemupdates oder dergleichen neue und/oder andere Bildverarbeitungsschritte und Methoden hinzukommen können. Diese werden, nachdem das Systemupdate durchgeführt wurde, dann wieder gelichermaßen für den Trainingsmodus und den Nachfahrmodus verwendet. Damit ist sichergestellt, dass im Trainingsmodus und im Nachfahrmodus Ergebnisse gleicher Qualität und/oder gleicher Art erzielt werden.
-
Wenn für das empfangene aktuelle Bild die optischen Merkmale ermittelt wurden, werden im nächsten Schritt die erste und die zweite Verteilung wenigstens eines der Parameter ermittelt. Die hierbei ermittelte Verteilung ist insbesondere eine Wahrscheinlichkeitsverteilung.
-
Man kann auch sagen, dass der Wert eines Parameters über alle optischen Merkmale eines jeweiligen Bildes hinweg zufällig verteilt ist, der Parameter bildet also eine Zufallsvariable. Die Verteilung dieser Zufallsvariable ist charakteristisch für ein jeweiliges Bild.
-
Die ermittelte Verteilung kann hierbei eindimensional oder auch mehrdimensional sein. Beispielsweise kann eine örtliche Verteilung der optischen Merkmale in einem zweidimensionalen Bild als eine zweidimensionalen Verteilung ermittelt werden. Eine mehrdimensionale Verteilung ist hierbei nicht auf Parameter gleichen Typs (wie beispielsweise Ortskoordinaten) beschränkt, sondern es kann auch eine mehrdimensionale Verteilung auf Basis eines Parameters „Ortskoordinate“ und eines Parameters „Farbe“ und/oder anderen und/oder weiteren Parametern ermittelt werden.
-
Durch einen Vergleich der beiden Verteilungen kann die Ähnlichkeit der Verteilungen ermittelt werden. Die Ähnlichkeit der Verteilungen entspricht beispielsweise der Überschneidung, der gemeinsamen Menge oder auch dem Überlapp der Verteilungen. Hierbei kann die Ähnlichkeit bei mehrdimensionalen Verteilungen für unterschiedliche Dimensionen (Parameter) der Verteilungen jeweils separat ermittelt werden.
-
Je nach der ermittelten Ähnlichkeit der Verteilungen wird anschließend ermittelt, ob der gespeicherte Datensatz aktualisiert wird oder nicht. Insbesondere kann die ermittelte Ähnlichkeit mit einem Aktualisierungs-Schwellwert verglichen werden, wobei, wenn die ermittelte Ähnlichkeit unter dem Aktualisierungs-Schwellwert liegt, eine Aktualisierung vorgenommen wird.
-
Wenn für mehrere Parameter die jeweilige erste und zweite Verteilung ermittelt und die Ähnlichkeit ermittelt wird, dann kann eine Gesamt-Ähnlichkeit auf Basis der mehreren ermittelten Ähnlichkeiten ermittelt werden. Hierbei können die Ähnlichkeitswerte der Verteilungen unterschiedlicher Parameter unterschiedlich stark berücksichtigt werden. Beispielsweise kann die Ähnlichkeit der Verteilungen der y-Position (vertikale Position) stärker berücksichtigt werden als die Ähnlichkeit der Verteilungen der x-Position (horizontale Position), oder umgekehrt.
-
Das Parkassistenzsystem ist insbesondere zum teilautonomen oder vollautonomen Betreiben des Fahrzeugs eingerichtet, wobei es beispielsweise in dem Nachfahrmodus automatisch entlang der trainierten Trajektorie fährt. Unter teilautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem eine Lenkvorrichtung und/oder eine Fahrstufenautomatik steuert. Unter vollautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem zusätzlich auch eine Antriebseinrichtung und eine Bremseinrichtung steuert. Eine Orientierung und/oder Lokalisation des Fahrzeugs erfolgt hierbei insbesondere auf Basis eines Vergleichs der ermittelten optischen Merkmale mit den gespeicherten Datensätzen. Aus der absoluten und/oder relativen Anordnung der ermittelten optischen Merkmale zueinander lässt sich eine Verschiebung oder relative Position der aktuellen Position des Fahrzeugs in Bezug auf die jeweilige Position während der Trainingsfahrt ermitteln und das Fahrzeug kann entsprechend auf die trainierte Trajektorie und entlang der trainierten Trajektorie gesteuert werden.
-
Gemäß einer Ausführungsform des Verfahrens umfassen die Parameter der optischen Merkmale eine jeweilige Position des jeweiligen Merkmals in dem Bild, eine Klassifikation des jeweiligen Merkmals, eine Farbe des jeweiligen Merkmals, eine geometrische Form des jeweiligen Merkmals, einen Kontrastwert des jeweiligen Merkmals und dergleichen mehr.
-
Wie vorstehend bereits angedeutet, wird unter dem Parameter „Farbe“ beispielsweise eine Intensität (Helligkeit) bei einer bestimmten Wellenlänge, einem bestimmten Wellenlängenband und/oder bei mehreren Wellenlängen verstanden. Weiterhin kann der Parameter „Farbe“ ein Verhältnis von zwei oder mehr als zwei Intensitäten bei unterschiedlichen Wellenlängen umfassen.
-
Der Parameter „Kontrastwert“ kann einen reinen Intensitätskontrast umfassen, kann aber auch einen Farbkontrast umfassen.
-
Ein jeweiliges optisches Merkmal ist durch die Angabe der zugeordneten oder zugehörigen Parameterwerte eindeutig charakterisiert. Man kann die Parameterwerte beispielsweise in einem Parametervektor anordnen, wobei die Position in dem Vektor den Parameter kennzeichnet.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Ähnlichkeit der ersten und der zweiten Verteilung auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt wird.
-
Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) - B5) auf Basis derjenigen gespeicherten Datensätze durchgeführt werden, deren korrespondierende Position einen Abstand zu einer aktuellen Position des Fahrzeugs aufweisen, der kleiner oder gleich einem vorbestimmten Abstands-Schwellwert ist.
-
In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Die aktuelle Fahrzeugposition ist ein nützlicher Indikator dafür, ob es sinnvoll ist, zwei Verteilungen miteinander zu vergleichen. Denn wenn die Positionen, aus denen die Bilder auf deren Basis die optischen Merkmale ermittelt werden oder wurden zu unterschiedlich sind, ist davon auszugehen, dass die Verteilungen sich unähnlich sind, da die Bilder unterschiedliche Ausschnitte oder Bereiche der Umgebung zeigen können. In diesem Fall wäre es nachteilig, eine Aktualisierung durchzuführen, was durch den Vergleich der Position zuverlässig vermieden werden kann. Diese Ausführungsform kann auch als eine Auswahlmethode zum Auswählen der zu vergleichenden Datensätze oder Verteilungen bezeichnet werden.
-
Die Position des Fahrzeugs kann hierbei insbesondere unter Verwendung eines Positionssensors, wie GPS, ermittelt werden. Alternativ oder zusätzlich kann eine Odometrie bei der Ermittlung der jeweiligen Position genutzt werden. Es sei angemerkt, dass der Begriff „Position“ in diesem Beispiel auch eine Ausrichtung des Fahrzeugs umfasst, die beispielsweise durch einen Magnetfeldsensor relativ zu dem Erdmagnetfeld und/oder einem künstlichen Horizont ermittelt werden kann.
-
In Ausführungsformen wird in dem Nachfahrmodus nur derjenige gespeicherte Datensatz herangezogen, dessen korrespondierende Position im Vergleich mit den weiteren gespeicherten Datensätzen der Trajektorie einen kleinsten Abstand zu einer aktuellen Position des Fahrzeugs aufweist.
-
Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) und B4) für alle gespeicherten Datensätze durchgeführt und der Schritt B5) wird für diejenigen Datensätze durchgeführt, deren erste Verteilung eine über einem vorbestimmten Ähnlichkeits-Schwellwert liegende Ähnlichkeit mit der zweiten Verteilung aufweist.
-
In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Bei dieser Ausführungsform wird auf Basis der Ähnlichkeit der Verteilungen ermittelt, ob die der jeweiligen Verteilung zugrundeliegenden Bilder der Umgebung einen vergleichbaren Ausschnitt oder Bereich aus der Umgebung zeigen oder nicht. Diese Ausführungsform kann insbesondere mit der auf der Position basierenden Auswahlmethode kombiniert werden.
-
Bei dieser Ausführungsform sind damit zwei vorbestimmte Schwellwerte für die Ähnlichkeit vorhanden: der Aktualisierungs-Schwellwert und der Ähnlichkeits-Schwellwert.
-
Gemäß einer weiteren Ausführungsform des Verfahrens entspricht der vorbestimmte Ähnlichkeits-Schwellwert einer kleineren Ähnlichkeit als der vorbestimmte Aktualisierungs-Schwellwert.
-
Das heißt, dass diejenigen Datensätze aktualisiert werden, deren Ähnlichkeit über dem Ähnlichkeits-Schwellwert liegt aber gleichzeitig unter dem Aktualisierungs-Schwellwert liegt.
-
Beispielsweise beträgt der Ähnlichkeits-Schwellwert einen Wert zwischen 65% - 75%, und der Aktualisierungs-Schwellwert beträgt einen Wert zwischen 80% - 95%. Wenn die Ähnlichkeit zwischen 75% - 80% beträgt, dann wird ermittelt, dass der entsprechende Datensatz zu aktualisieren ist. Ein Wert von 100% bedeutet hierbei, dass zwei verglichene Verteilungen identisch sind, und ein Wert von 0% bedeutet, dass zwei verglichene Verteilungen überhaupt keine Überschneidung oder Gemeinsamkeit aufweisen.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt B5) nur für denjenigen Datensatz durchgeführt, dessen erste Verteilung im Vergleich mit allen Datensätzen der Trajektorie die größte Ähnlichkeit mit der zweiten Verteilung aufweist.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird auf Basis eines jeweiligen Zeitstempels der in dem Trainingsmodus empfangenen Bilder ein erster stochastischer Prozess der ersten Verteilung des wenigstens einen Parameters ermittelt, und wobei auf Basis des jeweiligen Zeitstempels der in dem Nachfahrmodus empfangenen Bilder ein zweiter stochastischer Prozess der zweiten Verteilung des Parameters ermittelt wird, und wobei der Schritt B5) zusätzlich und/oder alternativ auf Basis einer Ähnlichkeit des ersten stochastischen Prozesses und des zweiten stochastischen Prozesses durchgeführt wird.
-
In dieser Ausführungsform wird die zeitliche Entwicklung der Verteilung eines Parameters entlang der Trajektorie, die über die Fahrzeuggeschwindigkeit mit der Position des Fahrzeugs entlang der Trajektorie gekoppelt ist, bestimmt und die Entscheidung der Aktualisierung hieran geknüpft. Man kann auch sagen, dass die Zeit hierbei als ein zusätzlicher Parameter behandelt wird, so dass beispielsweise die zeitliche Entwicklung der Verteilung einer Ortskoordinate in Form einer zweidimensionalen Verteilung darstellbar ist.
-
Gemäß einer weiteren Ausführungsform des Verfahrens erfolgt die Aktualisierung des Datensatzes in Schritt B5) auf Basis der in dem Schritt B2) ermittelten optischen Merkmale.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Aktualisierung des Datensatzes in Schritt B5) ein Ersetzen des Datensatzes mit einem aktuellen Datensatz und/oder ein Ersetzen wenigstens eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals und/oder ein Aktualisieren wenigstens eines Parameters eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals.
-
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Gemäß einem dritten Aspekt wird ein Parkassistenzsystem für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerichtet. Das Parkassistenzsystem umfasst:
- eine Empfangseinheit zum Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs, während dieses in dem Trainingsmodus entlang der zu trainierenden Trajektorie fährt,
- eine erste Ermittlungseinheit zum Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parameter charakterisiert ist, und
- eine Speichereinheit zum Speichern eines Datensatzes umfassend die ermittelten optischen Merkmale,
- wobei die Empfangseinheit zum Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs eingerichtet ist, während das Fahrzeug in dem Nachfahrmodus entlang der Trajektorie fährt und die erste Ermittlungseinheit zum Ermitteln der optischen Merkmalen in dem empfangenen aktuellen Bild eingerichtet ist. Das Parkassistenzsystem umfasst ferner:
- eine zweite Ermittlungseinheit zum Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bildes,
- eine Vergleichseinheit zum Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und
- eine Aktualisierungseinheit zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
-
Dieses Parkassistenzsystem weist die gleichen Vorteile auf, die zu dem Verfahren gemäß dem ersten Aspekt beschrieben sind. Die zu dem Verfahren gemäß dem ersten Aspekt dargelegten Ausführungsformen und Definitionen gelten für das Parkassistenzsystem entsprechend.
-
Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
-
Gemäß einem vierten Aspekt wird Fahrzeug mit wenigstens einer Kamera zum Erfassen und Ausgeben eines Bildes einer Umgebung des Fahrzeugs und mit einem Parkassistenzsystem gemäß dem dritten Aspekt vorgeschlagen.
-
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Parkassistenzsystem oder Fahrassistenzsystem, welches das teilautonome oder vollautonome Fahren in Abhängigkeit der erfassten Sensorsignale durchführt
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
- 1 zeigt eine schematische Ansicht eines Ausführungsbeispiels für ein Fahrzeug aus einer Vogelperspektive;
- 2 zeigt eine schematische Ansicht eines empfangenen Bildes mit einer Anzahl von darin enthaltenen optischen Merkmalen;
- 3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung eines jeweiligen Parameters;
- 4 zeigt ein Beispiel eines Vergleichs zweier Verteilungen zur Ermittlung der Ähnlichkeit;
- 5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Parkassistenzsystem; und
- 6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist ein Parkassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Weiterhin umfasst das Auto 100 eine Frontkamera 120, die in diesem Beispiel an einer oberen Kante der Frontscheibe angeordnet ist. Die Kamera 120 ist zum Erfassen eines Bildes der Umgebung 200 eingerichtet. Das erfasste Bild wird beispielsweise an das Parkassistenzsystems 110 ausgegeben, welches dieses empfängt und weiterverarbeitet, wie nachfolgend anhand der 2 - 6 im Detail beschrieben ist.
-
Das Parkassistenzsystem 110 ist dazu eingerichtet, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer der in der 1 dargestellten Kamera 120 kann das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen aufweisen. Beispiele hierfür sind Ultraschallsensoren, ein Lidar, ein Radar, ein GPS-Empfänger, ein Beschleunigungssensor, einen Empfänger zum Empfangen von elektromagnetisch übertragbaren Datensignalen, ein Mikrofon und dergleichen mehr.
-
2 zeigt eine schematische Ansicht eines empfangenen Bildes IMG mit einer Anzahl von darin enthaltenen optischen Merkmalen F1 - F8. Das Bild IMG ist in diesem Beispiel ein Bild mit zwei Raumdimensionen, das heißt es umfasst eine zweidimensionale Anordnung von Pixeln. In Ausführungsformen kann es sich auch um ein Bild mit drei Raumdimensionen handeln, das zusätzlich eine Tiefeninformation zu jedem Pixel umfasst. Jeder Pixel des Bildes IMG ist eindeutig durch seine jeweiligen Koordinaten in dem Bild IMG bestimmt, wobei es sich um zwei Ortskoordinaten x, y handelt. Die Koordinaten x, y beziehen sich hierbei auf ein Bild-Koordinatensystem (nicht dargestellt), das beispielsweise in einer der Ecken des Bildes IMG entspringt. Dementsprechend weisen die beispielhaft dargestellten optischen Merkmale F1 - F8 zwei Ortsparameter auf, die den x, y Koordinaten des jeweiligen optischen Merkmals entsprechen. Es sei angemerkt, dass die optischen Merkmale F1 - F8 in diesem Beispiel aus Gründen der Übersicht nur als Punkte in dem Bild IMG dargestellt sind, ein jeweiliges optisches Merkmal kann aber auch eine Ausdehnung aufweisen.
-
Zusätzlich zu den Ortskoordinaten x, y sind die optischen Merkmale F1 - F8 durch einen dritten Parameter p charakterisiert, bei dem es sich beispielsweise um einen Farbwert des optischen Merkmals F1 - F8 handelt. In diesem Beispiel ist ein jeweiliges optisches Merkmal somit durch die Angabe der drei Parameter x, y, p eindeutig charakterisiert. Das optische Merkmal F1 kann beispielsweise durch die Angabe F1(x1, y1, p1) dargestellt werden, wobei x1, y1, p1 die jeweiligen Werte des jeweiligen Parameters für das optische Merkmal F1 sind.
-
Es sei angemerkt, dass ein jeweiliges optisches Merkmal F1 - F8 durch mehr als drei Parameter charakterisiert sein kann. Es sei weiterhin angemerkt, dass in einem Bild IMG vorzugsweise deutlich mehr als acht optische Merkmale F1 - F8 ermittelt werden, beispielsweise zwischen 200 und 500 optische Merkmale.
-
Ein jeweiliges optisches Merkmal F1 - F8 ist insbesondere eine charakteristische Struktur in dem empfangenen Bild IMG, die beispielsweise in Form eines Kontrasts ermittelbar ist.
-
3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung P(x), P(y), P(p) eines jeweiligen Parameters x, y, p. Die Verteilungen stellen jeweils eine Wahrscheinlichkeitsverteilung oder eine Häufigkeitsverteilung dar, wobei die vertikale Achse P die Wahrscheinlichkeit oder die Häufigkeit angibt und die jeweilige horizontale Achse x, y, p den Wert des jeweiligen Parameters x, y, p angibt.
-
Die Verteilungen P(x) und P(y) sind in diesem Beispiel als (quasi-)kontinuierliche Verteilungen dargestellt und die Verteilung P(p) ist als eine diskrete Verteilung dargestellt. Da die jeweiligen Werte, die ein Parameter x, y, p annehmen kann, bei der Ermittlung durch die Ermittlungseinheit des Parkassistenzsystems insbesondere quantisiert werden, sind beispielsweise alle Verteilungen diskret, wobei man auch von quasi-kontinuierlichen Verteilungen sprechen kann. Hierbei kann auch eine Datenreduktion vorteilhaft sein, die beispielsweise in Form eines „Binnings“ vorgenommen wird, wobei alle Werte, die in einem bestimmten Intervall liegen, einem Mittelwert zugeordnet werden (beispielsweise bei einer Reduktion der Bittiefe für einen Parameter).
-
4 zeigt ein Diagramm, das zwei Verteilungen P1(x), P2(x) für einen Parameter x enthält. Die 4 dient der Veranschaulichung, was unter der Ähnlichkeit zweier Verteilungen P1(x), P2(x) zu verstehen ist. Die erste Verteilung P1 (x) ist beispielsweise die erste Verteilung des Parameters x, die auf Basis des gespeicherten Datensatzes ermittelt wurde, und die Verteilung P2(x) ist die zweite Verteilung des gleichen Parameters x, die auf Basis der ermittelten optischen Merkmale F1 - F8 (siehe 2) des empfangenen aktuellen Bildes IMG (siehe 2) ermittelt wurde. Die Ähnlichkeit zwischen den zwei Verteilungen P1 (x), P2(x) kann als die Überschneidung U(P1; P2) der beiden Verteilungen P1(x), P2(x) veranschaulicht werden. Beispielsweise kann die Anzahl an gleichen Parameterwerten x in den zwei Verteilungen P1(x), P2(x) gezählt werden und diese durch die Gesamtanzahl der optischen Merkmale F1 - F8 geteilt werden, um die Ähnlichkeit zu ermitteln. Vorteilhaft wird die Ähnlichkeit zwischen zwei Verteilungen P1(x), P2(x) auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt. Andere bekannte Maße für die Ähnlichkeit können ebenfalls genutzt werden.
-
5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Parkassistenzsystem 110, beispielsweise des Parkassistenzsystems des Fahrzeugs 100 der 1. Das Parkassistenzsystem 110 ist in einem Trainingsmodus MODO (siehe 6) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus MOD1 (siehe 6) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug 100 eingerichtet. Das Parkassistenzsystem 110 umfasst eine Empfangseinheit 111 zum Empfangen wenigstens eines Bildes IMG (siehe 2) einer Umgebung 200 (siehe 1) des Fahrzeugs 100, während dieses in dem Trainingsmodus MODO entlang der zu trainierenden Trajektorie fährt, eine erste Ermittlungseinheit 112 zum Ermitteln einer Mehrzahl optischer Merkmale F1 - F8 (siehe 2) in dem empfangenen Bild IMG, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe 2 oder 3) charakterisiert ist, und eine Speichereinheit 113 zum Speichern eines Datensatzes umfassend die ermittelten optischen Merkmale F1 - F8.
-
Die Empfangseinheit 111 ist ferner zum Empfangen wenigstens eines aktuellen Bildes IMG der Umgebung 200 des Fahrzeugs 100 eingerichtet, während das Fahrzeug 100 in dem Nachfahrmodus MOD1 entlang der Trajektorie fährt und die erste Ermittlungseinheit 112 ist ferner zum Ermitteln der optischen Merkmale F1 - F8 in dem empfangenen aktuellen Bild IMG eingerichtet. Das Parkassistenzsystem 110 umfasst ferner eine zweite Ermittlungseinheit 114 zum Ermitteln einer ersten Verteilung P(x), P(y), P(p), P1 (x) (siehe 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung P(x), P(y), P(p), P2(x) (siehe 3 oder 4) des Parameters x, y, p auf Basis der ermittelten optischen Merkmale F1 - F8 des aktuellen Bildes IMG, eine Vergleichseinheit 115 zum Ermitteln einer Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1(x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) und eine Aktualisierungseinheit 116 zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
-
6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 110, beispielsweise des Parkassistenzsystems 110 der 1 oder der 5. Das Verfahren umfasst einen Trainingsmodus MODO, in dem eine zu trainierende Trajektorie erfasst und gespeichert wird, und umfasst einen Nachfahrmodus, in dem die gespeicherte Trajektorie mit dem Fahrzeug nachgefahren wird.
-
Der Trainingsmodus MODO umfasst insbesondere die Schritte S1 - S4, wobei in einem ersten Schritt S1 das Fahrzeug 100 manuell entlang der Trajektorie gefahren wird, in einem zweiten Schritt S2 wenigstens ein Bild IMG (siehe 2) einer Umgebung 200 (siehe 1) des Fahrzeugs 100 während des manuellen Fahrens empfangen wird, in einem dritten Schritt S3 eine Mehrzahl optischer Merkmale F1 - F8 (siehe 2) in dem empfangenen Bild IMG ermittelt werden, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe 2 oder 3) charakterisiert ist, und in einem vierten Schritt S4 ein Datensatz umfassend die ermittelten optischen Merkmale F1 - F8 gespeichert wird.
-
Der Nachfahrmodus umfasst insbesondere die Schritte S5 - S9, wobei in einem fünften Schritt S5 wenigstens ein aktuelles Bild IMG der Umgebung 200 des Fahrzeugs 100 während des Nachfahrens empfangen wird, in einem sechsten Schritt S6 die optischen Merkmale F1 - F8 in dem empfangenen aktuellen Bild IMG ermittelt werden, in einem siebten Schritt S7 eine erste Verteilung P(x), P(y), P(p), P1 (x) (siehe 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und eine zweite Verteilung P(x), P(y), P(p), P2(x) (siehe 3 oder 4) des Parameters x, y, p auf Basis der ermittelten optischen Merkmale F1 - F8 des aktuellen Bildes IMG ermittelt werden, in einem achten Schritt S8 eine Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1 (x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) ermittelt wird und in einem neunten Schritt S9 der gespeicherte Datensatz aktualisiert wird, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
-
Es sei angemerkt, dass der Trainingsmodus MODO für eine bestimmte Trajektorie insbesondere nur einmal durchgeführt wird, wobei der Nachfahrmodus MOD1 auf Basis der trainierten Trajektorie beliebig oft durchgeführt werden kann.
-
Weiterhin sei angemerkt, dass der Nachfahrmodus MOD1 weitere Schritte umfassen kann, die beispielsweise das Steuern des Fahrzeugs 100 durch das Parkassistenzsystem 110 betreffen.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
Bezugszeichenliste
-
- 100
- Fahrzeug
- 110
- Parkassistenzsystem
- 111
- Empfangseinheit
- 112
- Ermittlungseinheit
- 113
- Speichereinheit
- 114
- Ermittlungseinheit
- 115
- Vergleichseinheit
- 116
- Aktualisierungseinheit
- 120
- Kamera
- F1 - F8
- optisches Merkmal
- IMG
- Bild
- MODO
- Trainingsmodus
- MOD1
- Nachfahrmodus
- p
- Parameter
- p1 - p8
- Parameterwert
- P
- Wahrscheinlichkeit
- P(p)
- Wahrscheinlichkeitsverteilung
- P(x)
- Wahrscheinlichkeitsverteilung
- P1 (x)
- erste Verteilung
- P2(x)
- zweite Verteilung
- P(y)
- Wahrscheinlichkeitsverteilung
- S1 - S9
- Verfahrensschritte
- U(P1; P2)
- Schnittmenge
- x
- Koordinate
- x1 - x8
- x-Position (ein Beispiel eines Parameters)
- y
- Koordinate
- y1 - y8
- y-Position (ein Beispiel eines Parameters)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017115991 A1 [0004]