DE102021107523A1 - Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug - Google Patents

Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug Download PDF

Info

Publication number
DE102021107523A1
DE102021107523A1 DE102021107523.8A DE102021107523A DE102021107523A1 DE 102021107523 A1 DE102021107523 A1 DE 102021107523A1 DE 102021107523 A DE102021107523 A DE 102021107523A DE 102021107523 A1 DE102021107523 A1 DE 102021107523A1
Authority
DE
Germany
Prior art keywords
vehicle
distribution
determined
trajectory
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021107523.8A
Other languages
English (en)
Inventor
Mohamad Usama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102021107523.8A priority Critical patent/DE102021107523A1/de
Priority to JP2023558551A priority patent/JP2024512572A/ja
Priority to KR1020237036334A priority patent/KR20230160368A/ko
Priority to US18/284,018 priority patent/US20240158010A1/en
Priority to PCT/EP2022/057727 priority patent/WO2022200482A1/de
Priority to EP22717798.7A priority patent/EP4313733A1/de
Priority to CN202280024057.8A priority patent/CN117157228A/zh
Publication of DE102021107523A1 publication Critical patent/DE102021107523A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/06Automatic manoeuvring for parking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314Parking operations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Es wird Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100) vorgeschlagen, welches in einem Trainingsmodus (MODO) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MOD1) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist. Um zu ermitteln, ob gespeicherte optische Merkmale, die zur Orientierung des Fahrzeugs bei dem Nachfahren dienen, aktualisiert werden müssen, werden Verteilungen von Parametern der optischen Merkmale verglichen. Wenn die Ähnlichkeit der verglichenen Verteilungen einen vorbestimmten Schwellwert unterschreitet, wird eine Aktualisierung durchgeführt.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem sowie ein Fahrzeug.
  • Es sind Parkassistenzsysteme bekannt, die eine bestimmte, nachzufahrende Trajektorie anlernen können, wobei in einem Trainingsmodus das Fahrzeug manuell entlang der später nachzufahrenden Trajektorie gefahren wird. Während dieser Trainingsfahrt werden über die Sensorik des Fahrzeugs Umgebungsdaten erfasst und gespeichert, die bei dem späteren Nachfahren eine Lokalisation des Fahrzeugs ermöglichen sollen. Dies kann beispielsweise mittels VSLAM erfolgen, wobei Kamerabilder erfasst und ausgewertet werden und so eine aktuelle Position des Fahrzeugs ermittelt wird.
  • Bei diesem Verfahren ist es wichtig, dass die gespeicherten Umgebungsdaten aktuell sind, da ansonsten eine Lokalisation nicht möglich ist. Da sich die Umgebung mit der Zeit verändern kann, beispielsweise da bewegliche Objekte entfernt, hinzugefügt oder verschoben werden, oder auch da bauliche Maßnahmen in der Umgebung vorgenommen werden, stellt sich das Problem, dass die Umgebungsdaten ihre Aktualität verlieren können. Um die Lokalisation weiterhin erfolgreich durchführen zu können, muss eine Aktualisierung der gespeicherten Umgebungsdaten durchgeführt werden.
  • DE 10 2017 115 991 A1 offenbart ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug, bei dem in einer Trainingsphase des Fahrerassistenzsystems, während der das Kraftfahrzeug von einem Fahrer manuell entlang einer Trajektorie manövriert wird, die Trajektorie gespeichert und anhand zumindest eines Bilds, welches mit einer Kamera des Kraftfahrzeugs bereitgestellt wird, eine Mehrzahl von Objektmerkmalen, gespeichert wird. In einer Betriebsphase des Fahrerassistenzsystems wird das Kraftfahrzeug anhand der gespeicherten Trajektorie und der gespeicherten Objektmerkmale semi-autonom entlang der gespeicherten Trajektorie manövriert. Dabei wird in dem Betriebsmodus eine Mehrzahl von Objektmerkmalen erkannt und es werden die erkannten Objektmerkmale den gespeicherten Objektmerkmalen zugeordnet. Auf Basis der Zuordnung wird entschieden, ob ein erneutes Speichern der Objektmerkmale und/oder der Trajektorie erforderlich ist.
  • Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern.
  • Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerichtet. Der Trainingsmodus umfasst:
    • A1) manuelles Fahren des Fahrzeugs entlang der Trajektorie,
    • A2) Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs während des manuellen Fahrens,
    • A3) Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parameter charakterisiert ist, und
    • A4) Speichern eines Datensatzes umfassend die ermittelten Merkmale. Der Nachfahrmodus umfasst:
    • B1) Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs während des Nachfahrens,
    • B2) Ermitteln der optischen Merkmale in dem empfangenen aktuellen Bild,
    • B3) Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bildes,
    • B4) Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und
    • B5) Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  • Dieses Verfahren weist den Vorteil auf, dass eine Aktualisierung des gespeicherten Datensatzes mit den optischen Merkmalen, die der Lokalisierung des Fahrzeug in dem Nachfahrmodus dienen, nur dann aktualisiert wird, wenn eine statistische Signifikanz für eine notwendige Aktualisierung ermittelt wird. Damit einerseits vermieden, dass bereits bei kleineren Veränderungen in der Umgebung eine Aktualisierung durchgeführt wird, weshalb eine hierfür notwendige Rechenleistung, die von dem Parkassistenzsystem oder einer anderen Recheneinheit des Fahrzeugs bereitgestellt werden müsste, nicht beansprucht wird. Damit steht die Rechenleistung für andere Prozesse zur Verfügung, was beispielsweise zu einer erhöhten Sicherheit, Zuverlässigkeit und/oder Geschwindigkeit anderer laufender Prozesse beiträgt. Andererseits ist durch das Verfahren ein zuverlässiges, weil rein auf Statistik beruhendes Maß vorhanden, um zuverlässig zu beurteilen, ob eine Aktualisierung eines jeweiligen Datensatzes nützlich ist, also beispielsweise signifikant zu einer verbesserten Lokalisierung des Fahrzeugs beiträgt.
  • In dem Trainingsmodus wird das Fahrzeug insbesondere manuell von einem Nutzer des Fahrzeugs bewegt. Hierunter wird verstanden, dass der Nutzer jederzeit die Kontrolle über das Fahrzeug ausübt. Es ist jedoch nicht ausgeschlossen, dass hierbei eine Fernsteuerung und/oder selbstlenkende und/oder selbstfahrende Systeme des Fahrzeugs zum Einsatz kommen, wobei auch sensorgestützte Entscheidungen über eine Fahrtrichtungsänderung durch das Fahrzeug vorgeschlagen und/oder durchgeführt werden können.
  • Das empfangene Bild ist insbesondere ein Bild, das von einer fahrzeugeigenen Kamera empfangen wird, beispielsweise einer Frontkamera. Es kann sich dabei auch um ein Bild handeln, das aus mehreren Bildern unterschiedlicher Kameras und/oder zu unterschiedlichen Zeitpunkten erfasster Bilder zusammengesetzt ist. Das empfangene Bild kann insbesondere einen erweiterten Spektralbereich umfassen, beispielsweise kann das Bild optische Informationen im nahen Infrarotbereich und im UV-Bereich umfassen. Beispielsweise weist das Bild eine spektrale Information zwischen 2500 nm - 150 nm auf. Weiterhin kann das Bild Informationen in einem oder mehreren scharf begrenzten Spektralbereichen aufweisen, die beispielsweise unter Verwendung von entsprechenden Band- oder Linienfiltern erfasst wurden, was einen Kontrast zur Ermittlung der optischen Merkmale in dem jeweiligen Bild optimieren kann. Das empfangene Bild ist insbesondere ein digitales Bild, in Form einer zweidimensionalen Pixelmatrix darstellbar ist, wobei die Pixelmatrix mehrere Ebenen aufweisen kann, wobei eine jeweilige Ebene beispielsweise die Information eines bestimmten Spektralbereichs enthält. So kann bei einem farbigen Bild vorgesehen sein, dass dieses drei Ebenen entsprechend drei erfassten Farbkanälen, insbesondere rot, grün und blau (RGB), aufweist.
  • Die optischen Merkmale, die in dem Bild ermittelt werden, weisen beispielsweise bestimmte Charakteristika auf, wie einen bestimmten Kontrast zwischen benachbarten Pixeln und/oder über eine Mehrzahl von Pixeln hinweg, eine bestimmte Form, wie eine runde Form, eine kantige Form, eine längliche Form, eine wellige Form und dergleichen mehr. Zur Ermittlung der optischen Merkmale können verschiedene Bildverarbeitungsmethoden und/oder Bildtransformationen verwendet und in unterschiedlicher Reihenfolge miteinander kombiniert werden. Weiterhin können neuronale Netzwerke verwendet werden, insbesondere um eine Objektklassifikation von in dem Bild sichtbaren Objekten durchzuführen.
  • Ein jeweiliges Merkmal ist insbesondere durch mehrere Parameter charakterisiert. Diese Parameter umfassen insbesondere die Position des Merkmals in dem Bild, wobei die Position wenigstens durch zwei Koordinaten, zum Beispiel einem x-Wert und einem Y-Wert, festgelegt ist, eine „Farbe“ des Merkmals, eine Form des Merkmals, eine Ausdehnung des Merkmals, die beispielsweise durch die Anzahl der Pixel, die das Merkmal überdeckt, angegeben werden kann, eine Klassifikation des Merkmals und dergleichen mehr. Die „Farbe“ eines jeweiligen Merkmals kann beispielsweise durch eine Angabe einer Intensität (Helligkeitsinformation) des Merkmals bei einer bestimmten Wellenlänge oder bei einem bestimmten Filter angegeben werden. Beispielsweise ist die Intensität durch den Wert eines einem Pixel zugeordneten Eintrags der Pixelmatrix bestimmt. Die Anzahl möglicher Werte, die ein Parameter einnehmen kann, reicht von binär („0“ oder „1“) bis hin zu quasi-kontinuierlich ohne obere und/oder untere Grenze. „Quasi-kontinuierlich“ deshalb, weil die Daten vorliegend digital verarbeitet werden, weshalb die Parameterwerte quantisiert vorliegen, auch wenn der korrespondierende Parameter selbst von kontinuierlicher Natur ist.
  • In einem einzelnen Bild werden vorzugsweise wenigstens 50 optische Merkmale und bis zu 5000 optische Merkmale ermittelt. Hierbei gilt zu beachten, dass eine größere Zahl optischer Merkmale einen entsprechend größeren Speicherbedarf zum Speichern des Datensatzes benötigt. Andererseits steigt die Genauigkeit einer Lokalisierung zwar mit zunehmender Anzahl optischer Merkmale an, jedoch flacht dieser Anstieg mit zunehmender Anzahl ab. Bevorzugt werden pro Bild zwischen 100 und 500 optische Merkmale ermittelt und in dem Datensatz gespeichert.
  • Der Datensatz umfasst beispielsweise eine Liste oder Tabelle der optischen Merkmale, wobei jedem Merkmal die entsprechenden Parameterwerte zugeordnet sind. Nicht alle ermittelten optischen Merkmale umfassen zwingend für jeden möglichen Parameter auch einen entsprechenden Wert, oder sie weisen einen Wert auf, der einen Parameter als „unbestimmt“ kennzeichnet.
  • Das Empfangen der Bilder und Ermitteln der optischen Merkmale wird in dem Trainingsmodus und dem Nachfahrmodus insbesondere in der gleichen Art durchgeführt, beispielsweise kommen die gleichen Bildverarbeitungsmethoden zum Einsatz. Hierbei kann jedoch vorgesehen sein, dass eine Genauigkeit, mit der einzelne oder mehrere Rechenoperationen durchgeführt, variiert, beispielsweise in Abhängigkeit der verfügbaren Systemressourcen. Dies schließt nicht aus, dass im Laufe der Nutzungsdauer des Parkassistenzsystems im Rahmen eines Systemupdates oder dergleichen neue und/oder andere Bildverarbeitungsschritte und Methoden hinzukommen können. Diese werden, nachdem das Systemupdate durchgeführt wurde, dann wieder gelichermaßen für den Trainingsmodus und den Nachfahrmodus verwendet. Damit ist sichergestellt, dass im Trainingsmodus und im Nachfahrmodus Ergebnisse gleicher Qualität und/oder gleicher Art erzielt werden.
  • Wenn für das empfangene aktuelle Bild die optischen Merkmale ermittelt wurden, werden im nächsten Schritt die erste und die zweite Verteilung wenigstens eines der Parameter ermittelt. Die hierbei ermittelte Verteilung ist insbesondere eine Wahrscheinlichkeitsverteilung.
  • Man kann auch sagen, dass der Wert eines Parameters über alle optischen Merkmale eines jeweiligen Bildes hinweg zufällig verteilt ist, der Parameter bildet also eine Zufallsvariable. Die Verteilung dieser Zufallsvariable ist charakteristisch für ein jeweiliges Bild.
  • Die ermittelte Verteilung kann hierbei eindimensional oder auch mehrdimensional sein. Beispielsweise kann eine örtliche Verteilung der optischen Merkmale in einem zweidimensionalen Bild als eine zweidimensionalen Verteilung ermittelt werden. Eine mehrdimensionale Verteilung ist hierbei nicht auf Parameter gleichen Typs (wie beispielsweise Ortskoordinaten) beschränkt, sondern es kann auch eine mehrdimensionale Verteilung auf Basis eines Parameters „Ortskoordinate“ und eines Parameters „Farbe“ und/oder anderen und/oder weiteren Parametern ermittelt werden.
  • Durch einen Vergleich der beiden Verteilungen kann die Ähnlichkeit der Verteilungen ermittelt werden. Die Ähnlichkeit der Verteilungen entspricht beispielsweise der Überschneidung, der gemeinsamen Menge oder auch dem Überlapp der Verteilungen. Hierbei kann die Ähnlichkeit bei mehrdimensionalen Verteilungen für unterschiedliche Dimensionen (Parameter) der Verteilungen jeweils separat ermittelt werden.
  • Je nach der ermittelten Ähnlichkeit der Verteilungen wird anschließend ermittelt, ob der gespeicherte Datensatz aktualisiert wird oder nicht. Insbesondere kann die ermittelte Ähnlichkeit mit einem Aktualisierungs-Schwellwert verglichen werden, wobei, wenn die ermittelte Ähnlichkeit unter dem Aktualisierungs-Schwellwert liegt, eine Aktualisierung vorgenommen wird.
  • Wenn für mehrere Parameter die jeweilige erste und zweite Verteilung ermittelt und die Ähnlichkeit ermittelt wird, dann kann eine Gesamt-Ähnlichkeit auf Basis der mehreren ermittelten Ähnlichkeiten ermittelt werden. Hierbei können die Ähnlichkeitswerte der Verteilungen unterschiedlicher Parameter unterschiedlich stark berücksichtigt werden. Beispielsweise kann die Ähnlichkeit der Verteilungen der y-Position (vertikale Position) stärker berücksichtigt werden als die Ähnlichkeit der Verteilungen der x-Position (horizontale Position), oder umgekehrt.
  • Das Parkassistenzsystem ist insbesondere zum teilautonomen oder vollautonomen Betreiben des Fahrzeugs eingerichtet, wobei es beispielsweise in dem Nachfahrmodus automatisch entlang der trainierten Trajektorie fährt. Unter teilautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem eine Lenkvorrichtung und/oder eine Fahrstufenautomatik steuert. Unter vollautonomem Fahren wird beispielsweise verstanden, dass das Parkassistenzsystem zusätzlich auch eine Antriebseinrichtung und eine Bremseinrichtung steuert. Eine Orientierung und/oder Lokalisation des Fahrzeugs erfolgt hierbei insbesondere auf Basis eines Vergleichs der ermittelten optischen Merkmale mit den gespeicherten Datensätzen. Aus der absoluten und/oder relativen Anordnung der ermittelten optischen Merkmale zueinander lässt sich eine Verschiebung oder relative Position der aktuellen Position des Fahrzeugs in Bezug auf die jeweilige Position während der Trainingsfahrt ermitteln und das Fahrzeug kann entsprechend auf die trainierte Trajektorie und entlang der trainierten Trajektorie gesteuert werden.
  • Gemäß einer Ausführungsform des Verfahrens umfassen die Parameter der optischen Merkmale eine jeweilige Position des jeweiligen Merkmals in dem Bild, eine Klassifikation des jeweiligen Merkmals, eine Farbe des jeweiligen Merkmals, eine geometrische Form des jeweiligen Merkmals, einen Kontrastwert des jeweiligen Merkmals und dergleichen mehr.
  • Wie vorstehend bereits angedeutet, wird unter dem Parameter „Farbe“ beispielsweise eine Intensität (Helligkeit) bei einer bestimmten Wellenlänge, einem bestimmten Wellenlängenband und/oder bei mehreren Wellenlängen verstanden. Weiterhin kann der Parameter „Farbe“ ein Verhältnis von zwei oder mehr als zwei Intensitäten bei unterschiedlichen Wellenlängen umfassen.
  • Der Parameter „Kontrastwert“ kann einen reinen Intensitätskontrast umfassen, kann aber auch einen Farbkontrast umfassen.
  • Ein jeweiliges optisches Merkmal ist durch die Angabe der zugeordneten oder zugehörigen Parameterwerte eindeutig charakterisiert. Man kann die Parameterwerte beispielsweise in einem Parametervektor anordnen, wobei die Position in dem Vektor den Parameter kennzeichnet.
  • Gemäß einer weiteren Ausführungsform des Verfahrens wird die Ähnlichkeit der ersten und der zweiten Verteilung auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt wird.
  • Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) - B5) auf Basis derjenigen gespeicherten Datensätze durchgeführt werden, deren korrespondierende Position einen Abstand zu einer aktuellen Position des Fahrzeugs aufweisen, der kleiner oder gleich einem vorbestimmten Abstands-Schwellwert ist.
  • In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Die aktuelle Fahrzeugposition ist ein nützlicher Indikator dafür, ob es sinnvoll ist, zwei Verteilungen miteinander zu vergleichen. Denn wenn die Positionen, aus denen die Bilder auf deren Basis die optischen Merkmale ermittelt werden oder wurden zu unterschiedlich sind, ist davon auszugehen, dass die Verteilungen sich unähnlich sind, da die Bilder unterschiedliche Ausschnitte oder Bereiche der Umgebung zeigen können. In diesem Fall wäre es nachteilig, eine Aktualisierung durchzuführen, was durch den Vergleich der Position zuverlässig vermieden werden kann. Diese Ausführungsform kann auch als eine Auswahlmethode zum Auswählen der zu vergleichenden Datensätze oder Verteilungen bezeichnet werden.
  • Die Position des Fahrzeugs kann hierbei insbesondere unter Verwendung eines Positionssensors, wie GPS, ermittelt werden. Alternativ oder zusätzlich kann eine Odometrie bei der Ermittlung der jeweiligen Position genutzt werden. Es sei angemerkt, dass der Begriff „Position“ in diesem Beispiel auch eine Ausrichtung des Fahrzeugs umfasst, die beispielsweise durch einen Magnetfeldsensor relativ zu dem Erdmagnetfeld und/oder einem künstlichen Horizont ermittelt werden kann.
  • In Ausführungsformen wird in dem Nachfahrmodus nur derjenige gespeicherte Datensatz herangezogen, dessen korrespondierende Position im Vergleich mit den weiteren gespeicherten Datensätzen der Trajektorie einen kleinsten Abstand zu einer aktuellen Position des Fahrzeugs aufweist.
  • Gemäß einer weiteren Ausführungsform des Verfahrens werden die Schritte A2) - A4) für mehrere Positionen entlang der zu trainierenden Trajektorie durchgeführt, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird. In dem Nachfahrmodus werden die Schritte B3) und B4) für alle gespeicherten Datensätze durchgeführt und der Schritt B5) wird für diejenigen Datensätze durchgeführt, deren erste Verteilung eine über einem vorbestimmten Ähnlichkeits-Schwellwert liegende Ähnlichkeit mit der zweiten Verteilung aufweist.
  • In dieser Ausführungsform sind der trainierten Trajektorie eine Mehrzahl an Datensätzen mit ermittelten optischen Merkmalen zugeordnet, die jeweils auf Basis von an unterschiedlichen Positionen entlang der Trajektorie erfassten Bildern ermittelt wurden. Bei dieser Ausführungsform wird auf Basis der Ähnlichkeit der Verteilungen ermittelt, ob die der jeweiligen Verteilung zugrundeliegenden Bilder der Umgebung einen vergleichbaren Ausschnitt oder Bereich aus der Umgebung zeigen oder nicht. Diese Ausführungsform kann insbesondere mit der auf der Position basierenden Auswahlmethode kombiniert werden.
  • Bei dieser Ausführungsform sind damit zwei vorbestimmte Schwellwerte für die Ähnlichkeit vorhanden: der Aktualisierungs-Schwellwert und der Ähnlichkeits-Schwellwert.
  • Gemäß einer weiteren Ausführungsform des Verfahrens entspricht der vorbestimmte Ähnlichkeits-Schwellwert einer kleineren Ähnlichkeit als der vorbestimmte Aktualisierungs-Schwellwert.
  • Das heißt, dass diejenigen Datensätze aktualisiert werden, deren Ähnlichkeit über dem Ähnlichkeits-Schwellwert liegt aber gleichzeitig unter dem Aktualisierungs-Schwellwert liegt.
  • Beispielsweise beträgt der Ähnlichkeits-Schwellwert einen Wert zwischen 65% - 75%, und der Aktualisierungs-Schwellwert beträgt einen Wert zwischen 80% - 95%. Wenn die Ähnlichkeit zwischen 75% - 80% beträgt, dann wird ermittelt, dass der entsprechende Datensatz zu aktualisieren ist. Ein Wert von 100% bedeutet hierbei, dass zwei verglichene Verteilungen identisch sind, und ein Wert von 0% bedeutet, dass zwei verglichene Verteilungen überhaupt keine Überschneidung oder Gemeinsamkeit aufweisen.
  • Gemäß einer weiteren Ausführungsform des Verfahrens wird der Schritt B5) nur für denjenigen Datensatz durchgeführt, dessen erste Verteilung im Vergleich mit allen Datensätzen der Trajektorie die größte Ähnlichkeit mit der zweiten Verteilung aufweist.
  • Gemäß einer weiteren Ausführungsform des Verfahrens wird auf Basis eines jeweiligen Zeitstempels der in dem Trainingsmodus empfangenen Bilder ein erster stochastischer Prozess der ersten Verteilung des wenigstens einen Parameters ermittelt, und wobei auf Basis des jeweiligen Zeitstempels der in dem Nachfahrmodus empfangenen Bilder ein zweiter stochastischer Prozess der zweiten Verteilung des Parameters ermittelt wird, und wobei der Schritt B5) zusätzlich und/oder alternativ auf Basis einer Ähnlichkeit des ersten stochastischen Prozesses und des zweiten stochastischen Prozesses durchgeführt wird.
  • In dieser Ausführungsform wird die zeitliche Entwicklung der Verteilung eines Parameters entlang der Trajektorie, die über die Fahrzeuggeschwindigkeit mit der Position des Fahrzeugs entlang der Trajektorie gekoppelt ist, bestimmt und die Entscheidung der Aktualisierung hieran geknüpft. Man kann auch sagen, dass die Zeit hierbei als ein zusätzlicher Parameter behandelt wird, so dass beispielsweise die zeitliche Entwicklung der Verteilung einer Ortskoordinate in Form einer zweidimensionalen Verteilung darstellbar ist.
  • Gemäß einer weiteren Ausführungsform des Verfahrens erfolgt die Aktualisierung des Datensatzes in Schritt B5) auf Basis der in dem Schritt B2) ermittelten optischen Merkmale.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Aktualisierung des Datensatzes in Schritt B5) ein Ersetzen des Datensatzes mit einem aktuellen Datensatz und/oder ein Ersetzen wenigstens eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals und/oder ein Aktualisieren wenigstens eines Parameters eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals.
  • Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
  • Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
  • Gemäß einem dritten Aspekt wird ein Parkassistenzsystem für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Trainingsmodus zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug eingerichtet. Das Parkassistenzsystem umfasst:
    • eine Empfangseinheit zum Empfangen wenigstens eines Bildes einer Umgebung des Fahrzeugs, während dieses in dem Trainingsmodus entlang der zu trainierenden Trajektorie fährt,
    • eine erste Ermittlungseinheit zum Ermitteln einer Mehrzahl optischer Merkmale in dem empfangenen Bild, wobei ein jeweiliges optisches Merkmal durch wenigstens einen Parameter charakterisiert ist, und
    • eine Speichereinheit zum Speichern eines Datensatzes umfassend die ermittelten optischen Merkmale,
    • wobei die Empfangseinheit zum Empfangen wenigstens eines aktuellen Bildes der Umgebung des Fahrzeugs eingerichtet ist, während das Fahrzeug in dem Nachfahrmodus entlang der Trajektorie fährt und die erste Ermittlungseinheit zum Ermitteln der optischen Merkmalen in dem empfangenen aktuellen Bild eingerichtet ist. Das Parkassistenzsystem umfasst ferner:
      • eine zweite Ermittlungseinheit zum Ermitteln einer ersten Verteilung wenigstens eines der Parameter auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung des Parameters auf Basis der ermittelten optischen Merkmale des aktuellen Bildes,
      • eine Vergleichseinheit zum Ermitteln einer Ähnlichkeit der ersten Verteilung mit der zweiten Verteilung, und
      • eine Aktualisierungseinheit zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  • Dieses Parkassistenzsystem weist die gleichen Vorteile auf, die zu dem Verfahren gemäß dem ersten Aspekt beschrieben sind. Die zu dem Verfahren gemäß dem ersten Aspekt dargelegten Ausführungsformen und Definitionen gelten für das Parkassistenzsystem entsprechend.
  • Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
  • Gemäß einem vierten Aspekt wird Fahrzeug mit wenigstens einer Kamera zum Erfassen und Ausgeben eines Bildes einer Umgebung des Fahrzeugs und mit einem Parkassistenzsystem gemäß dem dritten Aspekt vorgeschlagen.
  • Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Parkassistenzsystem oder Fahrassistenzsystem, welches das teilautonome oder vollautonome Fahren in Abhängigkeit der erfassten Sensorsignale durchführt
  • Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
  • Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
    • 1 zeigt eine schematische Ansicht eines Ausführungsbeispiels für ein Fahrzeug aus einer Vogelperspektive;
    • 2 zeigt eine schematische Ansicht eines empfangenen Bildes mit einer Anzahl von darin enthaltenen optischen Merkmalen;
    • 3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung eines jeweiligen Parameters;
    • 4 zeigt ein Beispiel eines Vergleichs zweier Verteilungen zur Ermittlung der Ähnlichkeit;
    • 5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Parkassistenzsystem; und
    • 6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
  • 1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist ein Parkassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Weiterhin umfasst das Auto 100 eine Frontkamera 120, die in diesem Beispiel an einer oberen Kante der Frontscheibe angeordnet ist. Die Kamera 120 ist zum Erfassen eines Bildes der Umgebung 200 eingerichtet. Das erfasste Bild wird beispielsweise an das Parkassistenzsystems 110 ausgegeben, welches dieses empfängt und weiterverarbeitet, wie nachfolgend anhand der 2 - 6 im Detail beschrieben ist.
  • Das Parkassistenzsystem 110 ist dazu eingerichtet, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer der in der 1 dargestellten Kamera 120 kann das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen aufweisen. Beispiele hierfür sind Ultraschallsensoren, ein Lidar, ein Radar, ein GPS-Empfänger, ein Beschleunigungssensor, einen Empfänger zum Empfangen von elektromagnetisch übertragbaren Datensignalen, ein Mikrofon und dergleichen mehr.
  • 2 zeigt eine schematische Ansicht eines empfangenen Bildes IMG mit einer Anzahl von darin enthaltenen optischen Merkmalen F1 - F8. Das Bild IMG ist in diesem Beispiel ein Bild mit zwei Raumdimensionen, das heißt es umfasst eine zweidimensionale Anordnung von Pixeln. In Ausführungsformen kann es sich auch um ein Bild mit drei Raumdimensionen handeln, das zusätzlich eine Tiefeninformation zu jedem Pixel umfasst. Jeder Pixel des Bildes IMG ist eindeutig durch seine jeweiligen Koordinaten in dem Bild IMG bestimmt, wobei es sich um zwei Ortskoordinaten x, y handelt. Die Koordinaten x, y beziehen sich hierbei auf ein Bild-Koordinatensystem (nicht dargestellt), das beispielsweise in einer der Ecken des Bildes IMG entspringt. Dementsprechend weisen die beispielhaft dargestellten optischen Merkmale F1 - F8 zwei Ortsparameter auf, die den x, y Koordinaten des jeweiligen optischen Merkmals entsprechen. Es sei angemerkt, dass die optischen Merkmale F1 - F8 in diesem Beispiel aus Gründen der Übersicht nur als Punkte in dem Bild IMG dargestellt sind, ein jeweiliges optisches Merkmal kann aber auch eine Ausdehnung aufweisen.
  • Zusätzlich zu den Ortskoordinaten x, y sind die optischen Merkmale F1 - F8 durch einen dritten Parameter p charakterisiert, bei dem es sich beispielsweise um einen Farbwert des optischen Merkmals F1 - F8 handelt. In diesem Beispiel ist ein jeweiliges optisches Merkmal somit durch die Angabe der drei Parameter x, y, p eindeutig charakterisiert. Das optische Merkmal F1 kann beispielsweise durch die Angabe F1(x1, y1, p1) dargestellt werden, wobei x1, y1, p1 die jeweiligen Werte des jeweiligen Parameters für das optische Merkmal F1 sind.
  • Es sei angemerkt, dass ein jeweiliges optisches Merkmal F1 - F8 durch mehr als drei Parameter charakterisiert sein kann. Es sei weiterhin angemerkt, dass in einem Bild IMG vorzugsweise deutlich mehr als acht optische Merkmale F1 - F8 ermittelt werden, beispielsweise zwischen 200 und 500 optische Merkmale.
  • Ein jeweiliges optisches Merkmal F1 - F8 ist insbesondere eine charakteristische Struktur in dem empfangenen Bild IMG, die beispielsweise in Form eines Kontrasts ermittelbar ist.
  • 3 zeigt drei Diagramme als Beispiele für eine jeweilige Verteilung P(x), P(y), P(p) eines jeweiligen Parameters x, y, p. Die Verteilungen stellen jeweils eine Wahrscheinlichkeitsverteilung oder eine Häufigkeitsverteilung dar, wobei die vertikale Achse P die Wahrscheinlichkeit oder die Häufigkeit angibt und die jeweilige horizontale Achse x, y, p den Wert des jeweiligen Parameters x, y, p angibt.
  • Die Verteilungen P(x) und P(y) sind in diesem Beispiel als (quasi-)kontinuierliche Verteilungen dargestellt und die Verteilung P(p) ist als eine diskrete Verteilung dargestellt. Da die jeweiligen Werte, die ein Parameter x, y, p annehmen kann, bei der Ermittlung durch die Ermittlungseinheit des Parkassistenzsystems insbesondere quantisiert werden, sind beispielsweise alle Verteilungen diskret, wobei man auch von quasi-kontinuierlichen Verteilungen sprechen kann. Hierbei kann auch eine Datenreduktion vorteilhaft sein, die beispielsweise in Form eines „Binnings“ vorgenommen wird, wobei alle Werte, die in einem bestimmten Intervall liegen, einem Mittelwert zugeordnet werden (beispielsweise bei einer Reduktion der Bittiefe für einen Parameter).
  • 4 zeigt ein Diagramm, das zwei Verteilungen P1(x), P2(x) für einen Parameter x enthält. Die 4 dient der Veranschaulichung, was unter der Ähnlichkeit zweier Verteilungen P1(x), P2(x) zu verstehen ist. Die erste Verteilung P1 (x) ist beispielsweise die erste Verteilung des Parameters x, die auf Basis des gespeicherten Datensatzes ermittelt wurde, und die Verteilung P2(x) ist die zweite Verteilung des gleichen Parameters x, die auf Basis der ermittelten optischen Merkmale F1 - F8 (siehe 2) des empfangenen aktuellen Bildes IMG (siehe 2) ermittelt wurde. Die Ähnlichkeit zwischen den zwei Verteilungen P1 (x), P2(x) kann als die Überschneidung U(P1; P2) der beiden Verteilungen P1(x), P2(x) veranschaulicht werden. Beispielsweise kann die Anzahl an gleichen Parameterwerten x in den zwei Verteilungen P1(x), P2(x) gezählt werden und diese durch die Gesamtanzahl der optischen Merkmale F1 - F8 geteilt werden, um die Ähnlichkeit zu ermitteln. Vorteilhaft wird die Ähnlichkeit zwischen zwei Verteilungen P1(x), P2(x) auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt. Andere bekannte Maße für die Ähnlichkeit können ebenfalls genutzt werden.
  • 5 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Parkassistenzsystem 110, beispielsweise des Parkassistenzsystems des Fahrzeugs 100 der 1. Das Parkassistenzsystem 110 ist in einem Trainingsmodus MODO (siehe 6) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet und ist in einem Nachfahrmodus MOD1 (siehe 6) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug 100 eingerichtet. Das Parkassistenzsystem 110 umfasst eine Empfangseinheit 111 zum Empfangen wenigstens eines Bildes IMG (siehe 2) einer Umgebung 200 (siehe 1) des Fahrzeugs 100, während dieses in dem Trainingsmodus MODO entlang der zu trainierenden Trajektorie fährt, eine erste Ermittlungseinheit 112 zum Ermitteln einer Mehrzahl optischer Merkmale F1 - F8 (siehe 2) in dem empfangenen Bild IMG, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe 2 oder 3) charakterisiert ist, und eine Speichereinheit 113 zum Speichern eines Datensatzes umfassend die ermittelten optischen Merkmale F1 - F8.
  • Die Empfangseinheit 111 ist ferner zum Empfangen wenigstens eines aktuellen Bildes IMG der Umgebung 200 des Fahrzeugs 100 eingerichtet, während das Fahrzeug 100 in dem Nachfahrmodus MOD1 entlang der Trajektorie fährt und die erste Ermittlungseinheit 112 ist ferner zum Ermitteln der optischen Merkmale F1 - F8 in dem empfangenen aktuellen Bild IMG eingerichtet. Das Parkassistenzsystem 110 umfasst ferner eine zweite Ermittlungseinheit 114 zum Ermitteln einer ersten Verteilung P(x), P(y), P(p), P1 (x) (siehe 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung P(x), P(y), P(p), P2(x) (siehe 3 oder 4) des Parameters x, y, p auf Basis der ermittelten optischen Merkmale F1 - F8 des aktuellen Bildes IMG, eine Vergleichseinheit 115 zum Ermitteln einer Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1(x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) und eine Aktualisierungseinheit 116 zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  • 6 zeigt ein schematisches Flussdiagramm eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 110, beispielsweise des Parkassistenzsystems 110 der 1 oder der 5. Das Verfahren umfasst einen Trainingsmodus MODO, in dem eine zu trainierende Trajektorie erfasst und gespeichert wird, und umfasst einen Nachfahrmodus, in dem die gespeicherte Trajektorie mit dem Fahrzeug nachgefahren wird.
  • Der Trainingsmodus MODO umfasst insbesondere die Schritte S1 - S4, wobei in einem ersten Schritt S1 das Fahrzeug 100 manuell entlang der Trajektorie gefahren wird, in einem zweiten Schritt S2 wenigstens ein Bild IMG (siehe 2) einer Umgebung 200 (siehe 1) des Fahrzeugs 100 während des manuellen Fahrens empfangen wird, in einem dritten Schritt S3 eine Mehrzahl optischer Merkmale F1 - F8 (siehe 2) in dem empfangenen Bild IMG ermittelt werden, wobei ein jeweiliges optisches Merkmal F1 - F8 durch wenigstens einen Parameter x, y, p (siehe 2 oder 3) charakterisiert ist, und in einem vierten Schritt S4 ein Datensatz umfassend die ermittelten optischen Merkmale F1 - F8 gespeichert wird.
  • Der Nachfahrmodus umfasst insbesondere die Schritte S5 - S9, wobei in einem fünften Schritt S5 wenigstens ein aktuelles Bild IMG der Umgebung 200 des Fahrzeugs 100 während des Nachfahrens empfangen wird, in einem sechsten Schritt S6 die optischen Merkmale F1 - F8 in dem empfangenen aktuellen Bild IMG ermittelt werden, in einem siebten Schritt S7 eine erste Verteilung P(x), P(y), P(p), P1 (x) (siehe 3 oder 4) wenigstens eines der Parameter x, y, p auf Basis des gespeicherten Datensatzes und eine zweite Verteilung P(x), P(y), P(p), P2(x) (siehe 3 oder 4) des Parameters x, y, p auf Basis der ermittelten optischen Merkmale F1 - F8 des aktuellen Bildes IMG ermittelt werden, in einem achten Schritt S8 eine Ähnlichkeit der ersten Verteilung P(x), P(y), P(p), P1 (x) mit der zweiten Verteilung P(x), P(y), P(p), P2(x) ermittelt wird und in einem neunten Schritt S9 der gespeicherte Datensatz aktualisiert wird, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  • Es sei angemerkt, dass der Trainingsmodus MODO für eine bestimmte Trajektorie insbesondere nur einmal durchgeführt wird, wobei der Nachfahrmodus MOD1 auf Basis der trainierten Trajektorie beliebig oft durchgeführt werden kann.
  • Weiterhin sei angemerkt, dass der Nachfahrmodus MOD1 weitere Schritte umfassen kann, die beispielsweise das Steuern des Fahrzeugs 100 durch das Parkassistenzsystem 110 betreffen.
  • Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
  • Bezugszeichenliste
  • 100
    Fahrzeug
    110
    Parkassistenzsystem
    111
    Empfangseinheit
    112
    Ermittlungseinheit
    113
    Speichereinheit
    114
    Ermittlungseinheit
    115
    Vergleichseinheit
    116
    Aktualisierungseinheit
    120
    Kamera
    F1 - F8
    optisches Merkmal
    IMG
    Bild
    MODO
    Trainingsmodus
    MOD1
    Nachfahrmodus
    p
    Parameter
    p1 - p8
    Parameterwert
    P
    Wahrscheinlichkeit
    P(p)
    Wahrscheinlichkeitsverteilung
    P(x)
    Wahrscheinlichkeitsverteilung
    P1 (x)
    erste Verteilung
    P2(x)
    zweite Verteilung
    P(y)
    Wahrscheinlichkeitsverteilung
    S1 - S9
    Verfahrensschritte
    U(P1; P2)
    Schnittmenge
    x
    Koordinate
    x1 - x8
    x-Position (ein Beispiel eines Parameters)
    y
    Koordinate
    y1 - y8
    y-Position (ein Beispiel eines Parameters)
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102017115991 A1 [0004]

Claims (13)

  1. Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100), welches in einem Trainingsmodus (MODO) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MOD1) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist, wobei der Trainingsmodus (MODO) umfasst: A1) manuelles Fahren (S1) des Fahrzeugs (100) entlang der Trajektorie, A2) Empfangen (S2) wenigstens eines Bildes (IMG) einer Umgebung (200) des Fahrzeugs (100) während des manuellen Fahrens, A3) Ermitteln (S3) einer Mehrzahl optischer Merkmale (F1 - F8) in dem empfangenen Bild (IMG), wobei ein jeweiliges optisches Merkmal (F1 - F8) durch wenigstens einen Parameter (x, y, p) charakterisiert ist, und A4) Speichern (S4) eines Datensatzes umfassend die ermittelten optischen Merkmale (F1 - F8), und wobei der Nachfahrmodus (MOD1) umfasst: B1) Empfangen (S5) wenigstens eines aktuellen Bildes (IMG) der Umgebung (200) des Fahrzeugs (100) während des Nachfahrens, B2) Ermitteln (S6) der optischen Merkmale (F1 - F8) in dem empfangenen aktuellen Bild (IMG), B3) Ermitteln (S7) einer ersten Verteilung (P(x), P(y), P(p); P1 (x)) wenigstens eines der Parameter (x, y, p) auf Basis des gespeicherten Datensatzes und Ermitteln einer zweiten Verteilung (P(x), P(y), P(p); P2(x)) des Parameters (x, y, p) auf Basis der ermittelten optischen Merkmale (F1 - F8) des aktuellen Bildes (IMG), B4) Ermitteln (S8) einer Ähnlichkeit der ersten Verteilung (P(x), P(y), P(p); P1 (x)) mit der zweiten Verteilung (P(x), P(y), P(p) ; P2(x)), und B5) Aktualisieren (S9) des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Parameter (x, y, p) der optischen Merkmale (F1 - F8) eine jeweilige Position des jeweiligen Merkmals in dem Bild (IMG) umfassen, eine Klassifikation des jeweiligen Merkmals umfassen, eine Farbe des jeweiligen Merkmals umfassen, eine geometrische Form des jeweiligen Merkmals umfassen und/oder einen Kontrastwert des jeweiligen Merkmals umfassen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ähnlichkeit der ersten und der zweiten Verteilung (P(x), P(y), P(p); P1(x), P2(x)) auf Basis des Bhattacharyya-Abstands und/oder des Kullback-Leibler-Abstands ermittelt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass in dem Trainingsmodus (MODO) für mehrere Positionen entlang der zu trainierenden Trajektorie die Schritte A2) - A4) durchgeführt werden, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird, und wobei in dem Nachfahrmodus (MOD1) die Schritte B3) - B5) auf Basis derjenigen gespeicherten Datensätze durchgeführt werden, deren korrespondierende Position einen Abstand zu einer aktuellen Position des Fahrzeugs (100) aufweisen, der kleiner oder gleich einem vorbestimmten Abstands-Schwellwert ist.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in dem Trainingsmodus (MODO) für mehrere Positionen entlang der zu trainierenden Trajektorie die Schritte A2) - A4) durchgeführt werden, so dass für jede der Positionen ein korrespondierender Datensatz gespeichert wird, wobei in dem Nachfahrmodus (MOD1) die Schritte B3) und B4) für alle gespeicherten Datensätze durchgeführt werden, und wobei der Schritt B5) für diejenigen Datensätze durchgeführt wird, deren erste Verteilung (P(x), P(y), P(p); P1(x)) eine über einem vorbestimmten Ähnlichkeits-Schwellwert liegende Ähnlichkeit mit der zweiten Verteilung (P(x), P(y), P(p); P2(x)) aufweist.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Ähnlichkeits-Schwellwert einer kleineren Ähnlichkeit entspricht als der Aktualisierungs-Schwellwert.
  7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass der Schritt B5) nur für denjenigen Datensatz durchgeführt wird, dessen erste Verteilung (P(x), P(y), P(p); P1 (x)) im Vergleich mit allen Datensätzen der Trajektorie die größte Ähnlichkeit mit der zweiten Verteilung (P(x), P(y), P(p); P2(x)) aufweist.
  8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass auf Basis eines jeweiligen Zeitstempels der in dem Trainingsmodus (MODO) empfangenen Bilder (IMG) ein erster stochastischer Prozess der ersten Verteilung (P(x), P(y), P(p); P1 (x)) des wenigstens einen Parameters (x, y, p) ermittelt wird, und wobei auf Basis des jeweiligen Zeitstempels der in dem Nachfahrmodus (MOD1) empfangenen Bilder (IMG) ein zweiter stochastischer Prozess der zweiten Verteilung (P(x), P(y), P(p); P1(x))des Parameters (x, y, p) ermittelt wird, und wobei der Schritt B5) zusätzlich und/oder alternativ auf Basis einer Ähnlichkeit des ersten stochastischen Prozesses und des zweiten stochastischen Prozesses durchgeführt wird.
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Aktualisierung des Datensatzes in Schritt B5) auf Basis der in dem Schritt B2) ermittelten optischen Merkmale (F1 - F8) erfolgt.
  10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Aktualisierung des Datensatzes in Schritt B5) ein Ersetzen des Datensatzes mit einem aktuellen Datensatz und/oder ein Ersetzen wenigstens eines, in dem gespeicherten Datensatz enthaltenen optischen Merkmals (F1 - F8) und/oder ein Aktualisieren wenigstens eines Parameters (x, y, p) eines in dem gespeicherten Datensatz enthaltenen optischen Merkmals (F1 - F8) umfasst.
  11. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.
  12. Parkassistenzsystem (110) für ein Fahrzeug (100), welches in einem Trainingsmodus (MODO) zum Erfassen und Speichern einer zu trainierenden Trajektorie eingerichtet ist und welches in einem Nachfahrmodus (MOD1) zum Nachfahren der gespeicherten Trajektorie mit dem Fahrzeug (100) eingerichtet ist, wobei das Parkassistenzsystem (110) umfasst: eine Empfangseinheit (111) zum Empfangen wenigstens eines Bildes (IMG) einer Umgebung (200) des Fahrzeugs (100) , während dieses in dem Trainingsmodus (MODO) entlang der zu trainierenden Trajektorie fährt, eine erste Ermittlungseinheit (112) zum Ermitteln einer Mehrzahl optischer Merkmale (F1 - F8) in dem empfangenen Bild (IMG), wobei ein jeweiliges optisches Merkmal (F1 - F8) durch wenigstens einen Parameter (x, y, p) charakterisiert ist, und eine Speichereinheit (113) zum Speichern eines Datensatzes umfassend die ermittelten optischen Merkmale (F1 - F8), wobei die Empfangseinheit (111) zum Empfangen wenigstens eines aktuellen Bildes (IMG) der Umgebung (200) des Fahrzeugs (100) eingerichtet ist, während das Fahrzeug (100) in dem Nachfahrmodus (MOD1) entlang der Trajektorie fährt und die erste Ermittlungseinheit (112) zum Ermitteln der optischen Merkmale (F1 - F8) in dem empfangenen aktuellen Bild (IMG) eingerichtet ist, und wobei das Parkassistenzsystem (110) ferner aufweist: eine zweite Ermittlungseinheit (114) zum Ermitteln einer ersten Verteilung (P(x), P(y), P(p); P1(x)) wenigstens eines der Parameter (x, y, p) auf Basis des gespeicherten Datensatzes und zum Ermitteln einer zweiten Verteilung (P(x), P(y), P(p); P2(x)) des Parameters (x, y, p) auf Basis der ermittelten optischen Merkmale (F1 - F8) des aktuellen Bildes (IMG), eine Vergleichseinheit (115) zum Ermitteln einer Ähnlichkeit der ersten Verteilung (P(x), P(y), P(p); P1 (x)) mit der zweiten Verteilung (P(x), P(y), P(p); P2(x)), und eine Aktualisierungseinheit (116) zum Aktualisieren des gespeicherten Datensatzes, falls die ermittelte Ähnlichkeit kleiner oder gleich einem vorbestimmten Aktualisierungs-Schwellwert ist.
  13. Fahrzeug (100) mit wenigstens einer Kamera (120) zum Erfassen und Ausgeben eines Bildes (IMG) einer Umgebung (200) des Fahrzeugs (100) und mit einem Parkassistenzsystem (110) nach Anspruch 12.
DE102021107523.8A 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug Pending DE102021107523A1 (de)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE102021107523.8A DE102021107523A1 (de) 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
JP2023558551A JP2024512572A (ja) 2021-03-25 2022-03-24 駐車支援システムを動作させるための方法、コンピュータプログラム製品、駐車支援システムおよび車両
KR1020237036334A KR20230160368A (ko) 2021-03-25 2022-03-24 주차 보조 시스템을 운영하는 방법, 컴퓨터 프로그램 제품, 주차 보조 시스템 및 차량
US18/284,018 US20240158010A1 (en) 2021-03-25 2022-03-24 Method for operating a parking assistance system, computer program product, parking assistance system and vehicle
PCT/EP2022/057727 WO2022200482A1 (de) 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
EP22717798.7A EP4313733A1 (de) 2021-03-25 2022-03-24 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
CN202280024057.8A CN117157228A (zh) 2021-03-25 2022-03-24 用于操作停车辅助系统的方法、计算机程序产品、停车辅助系统和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021107523.8A DE102021107523A1 (de) 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Publications (1)

Publication Number Publication Date
DE102021107523A1 true DE102021107523A1 (de) 2022-09-29

Family

ID=81346210

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021107523.8A Pending DE102021107523A1 (de) 2021-03-25 2021-03-25 Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Country Status (7)

Country Link
US (1) US20240158010A1 (de)
EP (1) EP4313733A1 (de)
JP (1) JP2024512572A (de)
KR (1) KR20230160368A (de)
CN (1) CN117157228A (de)
DE (1) DE102021107523A1 (de)
WO (1) WO2022200482A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007051612A1 (de) 2007-10-24 2009-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten
DE102017115991A1 (de) 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
US20200285997A1 (en) 2019-03-04 2020-09-10 Iocurrents, Inc. Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
US10845815B2 (en) * 2018-07-27 2020-11-24 GM Global Technology Operations LLC Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US11679760B2 (en) * 2018-12-10 2023-06-20 Mobileye Vision Technologies Ltd. Navigation in vehicle crossing scenarios

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007051612A1 (de) 2007-10-24 2009-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum automatisierten Vergleichen zweier Sätze von Messwerten
DE102017115991A1 (de) 2017-07-17 2019-01-17 Connaught Electronics Ltd. Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Kraftfahrzeug mit erneutem Speichern von Trainingsdaten, Fahrerassistenzsystem sowie Kraftfahrzeug
US20200285997A1 (en) 2019-03-04 2020-09-10 Iocurrents, Inc. Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence

Also Published As

Publication number Publication date
CN117157228A (zh) 2023-12-01
JP2024512572A (ja) 2024-03-19
EP4313733A1 (de) 2024-02-07
US20240158010A1 (en) 2024-05-16
KR20230160368A (ko) 2023-11-23
WO2022200482A1 (de) 2022-09-29

Similar Documents

Publication Publication Date Title
DE102018132525A1 (de) Verfahren und Vorrichtung zur Bewertung einer Fahrzeugfahrfläche
EP3299995A1 (de) Bildanalysesystem für landwirtschaftliche arbeitsmaschinen
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
EP3299996A1 (de) Landwirtschaftliche arbeitsmaschinen mit bildverarbeitungssystem
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102017130488A1 (de) Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE102021104243A1 (de) Verfahren, System und Computerprogrammprodukt zur automatischen Anpassung zumindest einer Fahrassistenzfunktion eines Fahrzeugs an einen Anhängerbetriebszustand
DE102008036219A1 (de) Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs
DE102018207923A1 (de) Verbessertes Training eines Klassifikators
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE102021107523A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
DE102019211459A1 (de) Verfahren und Vorrichtung zum Überprüfen einer Kalibrierung von Umfeldsensoren
WO2022122439A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug
DE102022212343A1 (de) Autonom-fahrsystem
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102022125914A1 (de) Fusion von bilddaten und lidar-daten zur verbesserten objekterkennung
EP3611653A1 (de) Vorrichtung und verfahren zum erfassen einer bereifung eines fahrzeugs
DE102021131054A1 (de) Verfahren, System und Computerprogrammprodukt zur Bewertung einer Fahrsituation für die prädiktive Steuerung einer automatisierten Fahrfunktion
DE102020128763A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem und fahrzeug
WO2018114181A1 (de) Verfahren und vorrichtung zum auswerten eines bildes und bereitstellen der auswertung für ein fahrassistenzsystem eines fahrzeugs
DE102021117615A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug
DE202018104643U1 (de) Vorrichtung zum Erfassen einer Bereifung eines Fahrzeugs

Legal Events

Date Code Title Description
R163 Identified publications notified