-
Die vorliegende Erfindung betrifft ein Parkassistenzsystem, ein Fahrerassistenzsystem, ein jeweiliges Betriebsverfahren und Computerprogrammprodukt, ein Fahrzeug und eine Anordnung.
-
Es sind Fahrzeuge bekannt, die eine automatisierte Parkfunktion aufweisen, die insbesondere zum automatischen Parken des Fahrzeugs in einem geeigneten Parkhaus oder einem geeigneten Parkplatz geeignet sind. Derartige Systeme werden beispielsweise als automatisierte Valet-Parksysteme bezeichnet. Hierbei wird zwischen zwei Typen unterschieden. Bei einem ersten Typ steuert sich das Fahrzeug selbst, wobei das Parkhaus beispielsweise über geeignete Merkmale verfügt, die zur Orientierung des Fahrzeugs dienen, wie beispielsweise ARUCO-Codes. Bei einem zweiten Typ ist das Fahrzeug fernsteuerbar, wobei das Parkhaus beispielsweise über Sensorik und Pfadplanungsmittel verfügt, um das Fahrzeug zu steuern. Zwischen diesen beiden Typen kann es verschiedene Zwischenstufen geben, bei denen sich die Funktionen unterschiedlich auf Fahrzeug und Parkhaus verteilen.
-
Bei Typ-1 Valet-Parksystemen wird dem Fahrzeug beispielsweise vorab oder bei der Einfahrt in das jeweilige Parkhaus ein Datensatz übermittelt, der dem Fahrzeug die Orientierung anhand der verteilt angeordneten Merkmale, wie ARUCO-Codes, ermöglicht. Der Datensatz enthält beispielsweise eine Zuordnung einer jeweiligen Position des Merkmals und/oder Angaben zur Lage eines Fahrkorridors relativ zu dem Merkmal. Diese Informationen werden von dem Betreiber des Parkhauses beispielsweise bei Inbetriebnahme ermittelt und in dem Datensatz hinterlegt. Für eine reibungslose Funktion des Systems ist es von hoher Wichtigkeit, dass die in dem Parkhaus verteilt angebrachten und zur Orientierung dienenden Merkmale, beispielsweise ARUCO-Codes, einwandfrei erfassbar sind. Je nach Anordnung der Merkmale kann eine gewisse Redundanz vorhanden sein, so dass trotz einer fehlerhaften Erfassung eines Merkmals eine Zuverlässige Steuerung des Fahrzeugs weiterhin gegeben sein kann. Es ist jedoch im Interesse des Betreibers des Parkhauses, sicherzustellen, dass eine Erfassung der Merkmale durch die das Parkhaus nutzenden Fahrzeuge gegeben ist.
-
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern.
-
Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems vorgeschlagen. Das Parkassistenzsystem umfasst eine Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern, die von einem autonom gesteuerten Fahrzeug während einer autonomen Fahrt innerhalb des vorbestimmten Bereichs zur Positionsbestimmung nutzbar sind. Das Verfahren umfasst die Schritte:
- a) Empfangen eines für eine Erkennungsgüte eines oder mehrerer der Marker der Mehrzahl indikativen Datensignals von dem autonom gesteuerten Fahrzeug,
- b) Ermitteln einer Zuverlässigkeit der Erkennung des jeweiligen Markers in Abhängigkeit des empfangenen Datensignals, und
- c) Ausgeben eines Hinweissignals betreffend einen oder mehrere der Marker in Abhängigkeit der ermittelten Zuverlässigkeit.
-
Dieses Verfahren hat den Vorteil, dass während der Nutzung des Parkassistenzsystems durch Fahrzeuge eine Rückmeldung von den Fahrzeugen bezüglich einer Erkennung der Marker durch ein jeweiliges Fahrzeug empfangen wird. Von dieser Rückmeldung kann darauf geschlossen werden, ob ein jeweiliger Marker gut erkennbar ist oder ob es Schwierigkeiten in der Erkennung gibt, die bis hin zu einem Nicht-Erkennen eines bestimmten Markers reichen. Somit kann ein Betreiber des Parkassistenzsystems beispielsweise sofort reagieren, wenn ein bestimmter Marker von den Fahrzeugen nicht erkannt wird. Insgesamt kann mit diesem Verfahren daher eine Zuverlässigkeit des Betriebs des Parkassistenzsystem verbessert werden. Weiterhin kann beispielsweise ein Optimierungsbedarf für die Anordnung eines bestimmten Markers auf Basis der ermittelten Zuverlässigkeit abgeleitet werden, wenn im Betrieb des Parkassistenzsystems ermittelt wird, dass der Marker von den Fahrzeugen regelmäßig mit einer geringen Erkennungsgüte erfasst wird. Vorteilhaft bei diesem Verfahren ist insbesondere, dass kein separater Test, wie eine Testfahrt mit einem speziell hierfür vorgesehenen Fahrzeug, durchgeführt werden muss, sondern die Zuverlässigkeit der Erkennung wird auf Basis von in einem Realbetrieb erfasster Daten unterschiedlicher Fahrzeuge ermittelt. Das heißt, dass beispielsweise auch verschiedene Konfigurationen, beispielsweise bezüglich einer Sensorik und einer Auswertelogik der verschiedenen Fahrzeuge, in die ermittelte Zuverlässigkeit mit einfließen, was den weiteren Vorteil aufweist, dass das Parkassistenzsystem systemübergreifend optimal bereitgestellt werden kann, oder es können inkompatible Konfigurationen ermittelt werden.
-
Es sei angemerkt, dass unter dem Begriff „Parkassistenzsystem“ vorliegend beispielsweise ein Typ-1 Valet-Parksystem verstanden wird. Das heißt, dass es sich um ein in der Infrastruktur angeordnetes System handelt, das es autonom oder teilautonom gesteuerten Fahrzeugen ermöglicht, einen Parkvorgang durchzuführen. Demgegenüber wird unter dem Begriff „Fahrerassistenzsystem“ vorliegend beispielsweise ein Assistenzsystem eines Fahrzeugs verstanden, das beispielsweise dazu eingerichtet ist, einen automatisierten Parkvorgang unter Verwendung des Typ-1 Valet-Parksystems durchzuführen.
-
Das Parkassistenzsystem umfasst eine Mehrzahl der Marker, die in dem vorbestimmten Bereich, bei dem es sich beispielsweise um ein Parkhaus oder ein Betriebsgelände handelt, angeordnet sind. Ein jeweiliger Marker ist aufgrund seines Erscheinungsbilds innerhalb des Parkassistenzsystems eindeutig von den anderen Markern unterscheidbar. Beispielsweise handelt es sich um ARUCO-Codes, wobei jeder Code nur einmal in dem Parkassistenzsystem vorhanden ist. Ein jeweiliger Marker ist insbesondere eindeutig mit einer zugeordneten Identifikationsnummer (ID) verknüpft, wobei sich die Identifikationsnummer beispielsweise aus dem Erscheinungsbild des jeweiligen Markers ermitteln lässt.
-
Das Parkassistenzsystem umfasst beispielsweise einen Datensatz, der zu jedem der Marker bestimmte Informationen umfasst, die zur Positionsbestimmung, Orientierung und/oder Fahrkorridorbestimmung geeignet sind. Das heißt, dass das Fahrzeug auf Basis der Marker seine momentane Position ermitteln kann, wobei die Position eine absolute Position, beispielsweise bezüglich eines vorbestimmten Koordinatensystems, wie einer Karte, oder eine relative Position, beispielsweise relativ zu dem Marker oder zu einem vorbestimmten Merkmal oder einem vorbestimmten Fahrkorridor, sein kann. Dieser Datensatz wird einem jeweiligen Fahrzeug, das das Parkassistenzsystem nutzt, bereitgestellt. Dies kann vorab erfolgen oder bei einer Einfahrt in den vorbestimmten Bereich. In Ausführungsformen kann der Datensatz auch lediglich für einen jeweiligen Teilbereich des vorbestimmten Bereichs, in dem sich das Fahrzeug gerade aufhält oder in den es einfährt, übertragen werden. Während einer autonomen Fahrt des Fahrzeug in dem vorbestimmten Bereich erfasst das Fahrzeug die Marker und ermittelt beispielsweise eine jeweilige Marker-ID. Mit der Marker-ID sind in dem Datensatz die jeweiligen zur Positionsbestimmung, Orientierung und/oder Fahrkorridorbestimmung erforderlichen Informationen verknüpft, die entsprechend aufgerufen und für eine Bahnplanung verwendet werden können.
-
Fahrzeuge, die das Parkassistenzsystem für einen automatisierten Parkvorgang nutzen, weisen insbesondere eine optische Sensoreinheit auf, mit der die Marker während der Fahrt in dem vorbestimmten Bereich erfasst werden. Auf Basis des entsprechenden optischen Sensorsignals wird beispielsweise die jeweilige Marker-ID ermittelt und die zugehörigen Informationen aus dem Datensatz abgerufen. Auf Basis dieser Informationen kann eine Positionsbestimmung durchgeführt werden, sowie beispielsweise ein vorgesehener Fahrkorridor ermittelt werden und eine entsprechende Trajektorie geplant werden. Es sei angemerkt dass es sich bei den Fahrzeugen insbesondere um autonome Fahrzeuge handelt, die den automatisierten Parkvorgang beispielsweise ohne eine Kontrolle oder Überwachung durch einen Nutzer durchführen.
-
Die Erkennung des jeweiligen Markers und die Ermittlung der jeweiligen Marker-ID kann von verschiedenen Faktoren abhängen, wie beispielsweise einer Ausleuchtung des jeweiligen Markers, einer Anschmutzung des jeweiligen Markers, einer Sichtbehinderung bezüglich des jeweiligen Markers, einer Fehlanordnung und/oder eine Fehlorientierung des jeweiligen Markers und dergleichen mehr. Zudem kann eine Anschmutzung der optischen Sensoreinheit des Fahrzeugs und/oder eine unzureichende Signalverarbeitung des optischen Sensorsignals, die beispielsweise systembedingt sein kann, ebenfalls einen Einfluss auf die Erkennung haben.
-
Das Fahrerassistenzsystem des Fahrzeugs ermittelt beispielsweise einen Wert für eine Erkennungsgüte für einen jeweiligen erfassten Marker. Die Erkennungsgüte kann beispielsweise einen Fehlerwert bezüglich der Erkennung des jeweiligen Markers umfassen, der auf Basis eines Kontrastwerts des optischen Sensorsignals oder dergleichen ermittelt wird. Die Erkennungsgüte kann auch eine Wahrscheinlichkeit dafür umfassen, dass eine Verwechslung mit einem anderen Marker des Parkassistenzsystem vorliegt. Die Erkennungsgüte kann auch als Erkennungskonfidenz bezeichnet werden. Beispielsweise kann ein Marker schlecht erkennbar sein, wenn dieser schlecht beleuchtet, beschmutzt, abschnittsweise verdeckt, verkippt und/oder verdreht angeordnet ist und dergleichen mehr.
-
Das Parkassistenzsystem empfängt von dem Fahrzeug ein Datensignal, welches indikativ für die Erkennungsgüte von wenigstens einem der Marker ist. Man kann auch sagen, dass das Datensignal die Erkennungsgüte für wenigstens einen der Marker umfasst. Dies kann sofort, noch während der autonomen Fahrt des Fahrzeugs erfolgen, es kann aber auch nach Abschluss der autonomen Fahrt erfolgen.
-
In Ausführungsformen kann vorgesehen sein, dass das Datensignal umfassend die Erkennungsgüte beispielsweise ein Bild des jeweiligen Markers, wie von dem Fahrzeug erfasst, umfasst. Das Bild selbst ist hierbei repräsentativ für die Erkennungsgüte, so dass beispielsweise das Fahrerassistenzsystem des Fahrzeugs die Erkennungsgüte nicht separat ermittelt, sondern das Parkassistenzsystem die Erkennungsgüte auf Basis des empfangenen Bildes ermittelt.
-
Auf Basis des Datensignals ermittelt das Parkassistenzsystem für jeden Marker, zu dem eine Erkennungsgüte in dem empfangenen Datensignal enthalten ist, eine Zuverlässigkeit der Erkennung des jeweiligen Markers. Die Zuverlässigkeit der Erkennung basiert insbesondere auf der empfangenen Erkennungsgüte von mehreren Fahrzeugen und/oder mehreren autonomen Fahrten eines Fahrzeugs. In diesem Beispiel bildet die Zuverlässigkeit der Erkennung eine Statistik bezüglich der Erkennungsgüte für einen jeweiligen Marker.
-
In Ausführungsformen ist die Zuverlässigkeit der Erkennung identisch zu der Erkennungsgüte. In weiteren Ausführungsformen ist die Zuverlässigkeit der Erkennung eine von der Erkennungsgüte abgeleitete Größe.
-
Die ermittelte Zuverlässigkeit der Erkennung ist insbesondere eine zu einem jeweiligen Zeitpunkt aktuelle Zuverlässigkeit, die unter Berücksichtigung zumindest des zeitlich zuletzt empfangenen Datensignals ermittelt wurde. Sobald ein neues Datensignal empfangen wird, wird die Zuverlässigkeit erneut ermittelt und damit aktualisiert.
-
In Abhängigkeit der ermittelten Zuverlässigkeit gibt das Parkassistenzsystem ein Hinweissignal aus, insbesondere an einen Betreiber des Parkassistenzsystems. Das Hinweissignal kann ein Datensignal umfassen, das eine Vorrichtung, wie eine Anzeigeeinrichtung, eine Ausgabeeinrichtung, ein Mobilgerät oder dergleichen, dazu veranlasst, einen entsprechenden Hinweis auszugeben. Beispielsweise zeigt die Anzeigeeinrichtung eine Darstellung der jeweiligen Zuverlässigkeit für alle Marker des Parkassistenzsystems an, oder es werden nur diejenigen Marker angezeigt, deren Zuverlässigkeit unter einem jeweiligen vorbestimmten Schwellwert liegt oder dergleichen. Insbesondere kann das Hinweissignal eine Übertragung einer Push-Nachricht veranlassen, beispielsweise an ein Mobilgerät eines Service-technikers oder dergleichen.
-
Gemäß einer Ausführungsform des Verfahrens wird eine Mehrzahl von Datensignalen von unterschiedlichen Fahrzeugen und/oder über einen bestimmten Zeitraum hinweg empfangen, wobei der Schritt b) auf Basis der Mehrzahl von Datensignalen durchgeführt wird.
-
Die Mehrzahl von Datensignalen, die in dem Schritt b) berücksichtigt werden, umfasst insbesondere eine bestimmte Menge der zuletzt empfangenen Datensignale für einen jeweiligen Marker und/oder Datensignale aus einem bestimmten zurückliegenden Zeitraum. Beispielsweise werden die letzten 100 empfangenen Datensignale für einen jeweiligen Marker berücksichtigt oder es werden die Datensignale, die in den zurückliegenden 24 Stunden empfangen wurden berücksichtigt. Diese Bedingungen können auch kombiniert werden, so das vorgesehen sein kann, dass bis zu 500 Datensignale berücksichtigt werden, die zu berücksichtigenden Datensignale jedoch beispielweise nicht älter als eine Woche sein dürfen. Die hier angegebenen Werte und Zeiträume sind lediglich beispielhaft und sollten nicht als die Ausführungsform beschränkend verstanden werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Schritt b) das Ermitteln eines Mittelwerts der jeweiligen Erkennungsgüte des jeweiligen Markers auf Basis einer Mehrzahl empfangener Datensignale.
-
Die Mehrzahl empfangener Datensignale, die zur Bildung des Mittelwerts berücksichtigt wird, wird beispielsweise wie anhand der vorstehenden Ausführungsform beschrieben ermittelt.
-
Unter dem Begriff „Mittelwert“ ist vorliegend nicht ausschließlich der arithmetische Mittelwert zu verstehen, sondern kann jede nach einer bestimmten Rechenvorschrift aus gegebenen Zahlen ermittelte weitere Zahl sein, wie beispielsweise unterschiedliche Momente einer Verteilung oder dergleichen.
-
Insbesondere kann bei der Bildung des Mittelwerts eine Unsicherheit für eine jeweilige Erkennungsgüte, wie ein Messfehler oder dergleichen, berücksichtigt werden, was auch als gewichteter Mittelwert bezeichnet wird.
-
Man kann den Mittelwert auch als aktuellen individuellen Qualitätsindex bezeichnen, der repräsentativ für die aktuelle Zuverlässigkeit der Erkennung des jeweiligen Markers ist.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst der Schritt c) ein Vergleichen des ermittelten Mittelwerts für den jeweiligen Marker mit einem für den jeweiligen Marker vorbestimmten Schwellwert.
-
Der jeweilige Schwellwert ist beispielsweise ein empirisch ermittelter Wert, ab dem die Wahrscheinlichkeit dafür, dass der jeweilige Marker von dem Fahrerassistenzsystem nicht erkannt wird (und damit nicht zur Positionierung genutzt werden kann) einen vorbestimmten kritischen Wert überschreitet. Der jeweilige Schwellwert ist insbesondere individuell für jeden der Marker bestimmt, wobei beispielsweise eine mögliche Redundanz oder Relevanz des jeweiligen Markers berücksichtigt wird.
-
Wenn der ermittelte Mittelwert für einen bestimmten Marker unter den vorbestimmten Schwellwert für diesen Marker sinkt, wird beispielsweise ein Alarm als das Hinweissignal ausgegeben, so eine Dringlichkeit zum Beheben einer Ursache für die schlechte Erkennungsgüte für den Marker deutlich wird.
-
Gemäß einer weiteren Ausführungsform des Verfahrens wird eine zeitliche Änderungsrate der ermittelten Zuverlässigkeit für einen jeweiligen Marker ermittelt, wobei der Schritt c) ein Vergleichen der ermittelten Änderungsrate mit einem vorbestimmten Schwellwert für die Änderungsrate für den jeweiligen Marker umfasst.
-
Auf Basis der zeitlichen Änderungsrate kann insbesondere auf plötzliche Verschlechterungen der Erkennungsgüte geschlossen werden. Dies umfasst insbesondere den Fall, dass ein Marker überhaupt nicht erfasst oder erkannt wird.
-
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst das Datensignal für einen oder mehrere der Marker eine Kennzeichnung, ob der jeweilige Marker erfasst und/oder erkannt wurde, wobei, wenn ein Marker in dem Datensignal als nicht erfasst und/oder nicht erkannt gekennzeichnet ist, das Hinweissignal betreffend diesen Marker ausgegeben wird.
-
Bei dieser Ausführungsform wird immer dann, wenn ein Marker nicht erfasst oder nicht erkannt wurde, das Hinweissignal ausgegeben, unabhängig von der zuletzt ermittelten Zuverlässigkeit für diesen Marker.
-
Gemäß einer weiteren Ausführungsform des Verfahrens ist die Erkennungsgüte in dem Datensignal durch einen oder mehrere Parameter repräsentiert, die Parameter umfassend einen Kontrastwert, einen Helligkeitswert, einen relativen Zuverlässigkeitswert und einen Fehlorientierungswert.
-
Der relative Zuverlässigkeitswert ist beispielsweise ein Maß dafür, wie eindeutig der jeweilige Marker erkannt wurde. Man kann auch sagen, dass der relative Zuverlässigkeitswert eine Ähnlichkeit des Markers in dem jeweiligen Sensorsignal mit weiteren Markern repräsentiert.
-
Der Fehlorientierungswert ist beispielsweise ein Maß dafür, wie sehr eine ermittelte Orientierung des jeweiligen Markers von einer erwarteten oder vorbestimmten Orientierung des Markers abweicht. Der Fehlorientierungswert umfasst beispielsweise einen Drehwinkel oder dergleichen.
-
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
-
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
-
Gemäß einem dritten Aspekt wird ein Parkassistenzsystem mit einer Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern vorgeschlagen. Die Marker sind von einem autonom gesteuerten Fahrzeug während einer autonomen Fahrt innerhalb des vorbestimmten Bereichs zur Positionsbestimmung nutzbar. Das Parkassistenzsystem umfasst:
- eine Empfangseinheit zum Empfangen eines für eine Erkennungsgüte eines oder mehrerer der Marker der Mehrzahl indikativen Datensignals von dem autonom gesteuerten Fahrzeug,
- eine Ermittlungseinheit zum Ermitteln einer Zuverlässigkeit der Erkennung des jeweiligen Markers in Abhängigkeit des empfangenen Datensignals, und
- eine Ausgabeeinheit zum Ausgeben eines Hinweissignals betreffend einen oder mehrere der Marker in Abhängigkeit der ermittelten Zuverlässigkeit.
-
Die für das vorgeschlagene Verfahren gemäß dem ersten Aspekt beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Parkassistenzsystem entsprechend. Die zu dem Verfahren gemäß dem ersten Aspekt genannten Vorteile und Definition gelten auch für das vorgeschlagene Parkassistenzsystem.
-
Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein.
-
Die Marker des Parkassistenzsystems sind insbesondere als ARUCO-Marker ausgebildet.
-
Gemäß einem vierten Aspekt wird ein Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug vorgeschlagen. Das Fahrerassistenzsystem ist zum autonomen Steuern des Fahrzeugs eingerichtet. Das Verfahren umfasst die Schritte:
- Empfangen eines optischen Sensorsignals von einer optischen Sensoreinheit des Fahrzeugs, das optische Sensorsignal umfassend wenigstens einen optischen Marker einer Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern,
- Ermitteln des optischen Markers in dem empfangenen optischen Sensorsignal, Ermitteln einer Erkennungsgüte des ermittelten Markers, und
- Ausgeben eines Datensignals umfassend die ermittelte Erkennungsgüte.
-
Darunter, dass das Fahrerassistenzsystem zum autonomen Steuern des Fahrzeugs eingerichtet ist, wird beispielsweise verstanden, dass dieses einen Automatisierungsgrad gemäß dem SAE-Klassifikationssystem der Stufe 3 oder höher aufweist. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht. Es basiert auf sechs verschiedenen Automatisierungsgraden und berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE-Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, über Fahrerassistenzsysteme in Stufe 1 bis 2 bis hin zu teil-autonomen (Stufe 3 und 4) und vollautonomen (Stufe 5) Systemen, bei der kein Fahrer mehr erforderlich ist. Ein autonomes Fahrzeug (auch als fahrerloses Auto, selbstfahrendes Auto und robotisches Auto bekannt) ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren und es entspricht dem SAE-Automatisierungsgrad 5.
-
Die optische Sensoreinheit ist beispielsweise eine Kamera und das optische Sensorsignal ist ein Bild. Das Ermitteln des optischen Markers sowie das Ermitteln der Erkennungsgüte des Markers erfolgt beispielsweise auf Basis einer Bildanalyse, wobei unterschiedliche Verarbeitungs- und/oder Transformationsschritte durchgeführt werden. In Ausführungsformen kann eine künstliche Intelligenz oder ein Maschinenlernverfahren hierbei zum Einsatz kommen, wie beispielsweise ein trainiertes neuronales Netzwerk, insbesondere ein CNN (convolutional neural network).
-
Darunter, dass der optische Marker in dem empfangenen optischen Sensorsignal ermittelt wird, wird insbesondere verstanden, dass die dem Marker zugeordnete ID ermittelt wird.
-
Das Datensignal wird insbesondere drahtlos an das Parkassistenzsystem übertragen, beispielsweise mittels einer WLAN-Verbindung, mittels Bluetoothe und/oder über ein Mobilfunknetzwerk.
-
Gemäß einem fünften Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem vierten Aspekt auszuführen.
-
Gemäß einem sechsten Aspekt wird ein Fahrerassistenzsystem für ein Fahrzeug vorgeschlagen, wobei das Fahrerassistenzsystem zum autonomen Steuern des Fahrzeugs eingerichtet ist. Das Fahrerassistenzsystem weist auf:
- eine Empfangseinheit zum Empfangen eines optischen Sensorsignals von einer optischen Sensoreinheit des Fahrzeugs, das optische Sensorsignal umfassend wenigstens einen optischen Marker einer Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern,
- eine Ermittlungseinheit zum Ermitteln des optischen Markers in dem empfangenen optischen Sensorsignal und zum Ermitteln einer Erkennungsgüte des ermittelten Markers, und
- eine Ausgabeeinheit zum Ausgeben eines Datensignals umfassend die ermittelte Erkennungsgüte.
-
Die für das vorgeschlagene Verfahren gemäß dem vierten Aspekt beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Fahrerassistenzsystem entsprechend.
-
Dieses Fahrerassistenzsystem ist vorteilhaft zu einem gemeinsamen Betrieb in oder mit dem Parkassistenzsystem gemäß dem dritten Aspekt eingerichtet.
-
Die für das vorgeschlagene Verfahren gemäß dem ersten Aspekt beschriebenen Ausführungsformen und Merkmale, soweit diese das Fahrerassistenzsystem betreffen, gelten für das vorgeschlagene Fahrerassistenzsystem entsprechend und bilden entsprechende Ausführungsformen.
-
Die jeweilige Einheit des Fahrerassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems eines Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Motorsteuergerät (ECU: Engine Control Unit), ausgebildet sein.
-
Gemäß einem siebten Aspekt wird ein Fahrzeug mit wenigstens einer optischen Sensoreinheit zum Erfassen und Ausgeben eines für eine Umgebung des Fahrzeugs indikativen optischen Sensorsignals und mit einem Fahrerassistenzsystem gemäß dem sechsten Aspekt vorgeschlagen.
-
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Fahrerassistenzsystem, welches das teilautonome oder vollautonome Fahren in Abhängigkeit der erfassten Sensorsignale durchführt.
-
Gemäß einem achten Aspekt wird eine Anordnung mit einem Parkassistenzsystem gemäß dem dritten Aspekt und mit einem Fahrzeug gemäß dem siebten Aspekt vorgeschlagen. Das Fahrerassistenzsystem des Fahrzeugs ist zum Ausgeben des Datensignals an das Parkassistenzsystem eingerichtet und das Parkassistenzsystem ist zum Empfangen des Datensignals von dem Fahrerassistenzsystem eingerichtet.
-
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
-
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
- 1 zeigt schematisch eine Anordnung eines Parkassistenzsystem mit einem Fahrzeug;
- 2 zeigt ein erstes Ausführungsbeispiel für das Ermitteln einer Zuverlässigkeit;
- 3 zeigt ein zweites Ausführungsbeispiel für das Ermitteln einer Zuverlässigkeit;
- 4A - 4C zeigen drei Beispiele für erfasste Marker;
- 5 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels eines Parkassistenzsystems; und
- 6 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
-
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
-
1 zeigt schematisch eine Anordnung 300 umfassend ein Parkassistenzsystem 100 und ein Fahrzeug 200.
-
Das Parkassistenzsystem 100 umfasst eine Mehrzahl 101 (siehe 5) von an bestimmten Positionen in einem vorbestimmten Bereich 110 angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern ID1 - ID4. Es handelt sich beispielhaft um ARUCO-Codes. Die Marker ID1 - ID4 dienen zur Positionsbestimmung für das Fahrzeug 200, das während einer autonomen Fahrt innerhalb des vorbestimmten Bereichs 110 die Marker ID1 - ID4 optisch erfasst und ermittelt. Das Parkassistenzsystem 100 umfasst zudem eine Empfangseinheit 102 zum Empfangen eines für eine Erkennungsgüte Q1 (siehe 2 oder 3) eines oder mehrerer der Marker ID1 - ID4 der Mehrzahl 101 indikativen Datensignals DATA von dem autonom gesteuerten Fahrzeug 200, eine Ermittlungseinheit 104 zum Ermitteln einer Zuverlässigkeit QI (siehe 2 oder 3) der Erkennung des jeweiligen Markers ID1 - ID4 in Abhängigkeit des empfangenen Datensignals DATA, und eine Ausgabeeinheit 106 zum Ausgeben eines Hinweissignals SIG betreffend einen oder mehrere der Marker ID1 - ID4 in Abhängigkeit der ermittelten Zuverlässigkeit QI.
-
Das Parkassistenzsystem 100 ist zum Durchführen des anhand der 6 erläuterten Verfahrens eingerichtet. Nachfolgend ist anhand der 2 und 3 eine mögliche Funktionsweise der Ermittlungseinheit 104 genauer erläutert.
-
Es sei angemerkt, dass das Fahrzeug 200 sowie das Fahrerassistenzsystem 210 des Fahrzeugs 200 auch unabhängig von dem Parkassistenzsystem 100 betreibbar sind.
-
Das Fahrerassistenzsystem 210 ist zum autonomen Steuern des Fahrzeugs 200 eingerichtet und weist eine Empfangseinheit 212 zum Empfangen eines optischen Sensorsignals von einer optischen Sensoreinheit 220 des Fahrzeugs 200, das optische Sensorsignal umfassend wenigstens einen optischen Marker ID1 - ID4 einer Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich 110 angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern ID1 - ID4, eine Ermittlungseinheit 214 zum Ermitteln des optischen Markers ID1 - ID4 in dem empfangenen optischen Sensorsignal und zum Ermitteln einer Erkennungsgüte Q1 (siehe 2 oder 3) des ermittelten Markers ID1 - ID4, und eine Ausgabeeinheit 216 zum Ausgeben eines Datensignals DATA umfassend die ermittelte Erkennungsgüte Q1 auf.
-
Das Fahrerassistenzsystem 210 ist zum Durchführen des nachfolgenden Verfahrens eingerichtet:
- Empfangen eines optischen Sensorsignals von einer optischen Sensoreinheit 220 des Fahrzeugs 200, das optische Sensorsignal umfassend wenigstens einen optischen Marker ID1 - ID4 einer Mehrzahl von an bestimmten Positionen in einem vorbestimmten Bereich 110 angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern ID1 - ID4,
- Ermitteln des optischen Markers ID1 - ID4 in dem empfangenen optischen Sensorsignal,
- Ermitteln einer Erkennungsgüte Q1 des ermittelten Markers ID1 - ID4, und
- Ausgeben eines Datensignals DATA umfassend die ermittelte Erkennungsgüte Q1.
-
Das Fahrzeug 200 ist beispielsweise ein Auto. Das Auto 200 weist das Fahrerassistenzsystem 210 auf, das beispielsweise als ein Steuergerät des Autos 200 ausgebildet ist. Zudem weist das Auto 200 zumindest eine optische Sensoreinheit 220 auf. Die optische Sensoreinheit 220 umfasst beispielsweise eine visuelle Kamera. Die optische Sensoreinheit 220 ist zum Erfassen eines Bildes eines jeweiligen Bereichs aus der Umgebung des Autos 200 und zum Ausgeben des erfassten Bildes als optisches Sensorsignal eingerichtet. Außer der in der 1 dargestellten optischen Sensoreinheit 220 kann vorgesehen sein, dass das Fahrzeug 200 verschiedene weitere Sensoreinrichtungen aufweist. Beispiele hierfür sind Ultraschallsensoren, Raddrehzahlsensoren, Radwinkelsensoren, ein Mikrofon, ein Beschleunigungssensor, eine Antenne mit gekoppeltem Empfänger zum Empfangen von elektromagnetisch übertragbarer Datensignale, und dergleichen mehr.
-
2 zeigt ein Diagramm als ein erstes Ausführungsbeispiel für das Ermitteln einer Zuverlässigkeit QI der Erkennung für einen bestimmten Marker ID1 - ID4 auf Basis von empfangenen Datensignalen DATA (siehe 1). Ein jeweiliges empfangenes Datensignal DATA umfasst eine Erkennungsgüte Q1 (aus Gründen der besseren Übersicht ist nur ein Datenpunkt mit dem Bezugszeichen gekennzeichnet), die in diesem Beispiel als ein Zahlenwert auf einer Skala von 0 bis 1 entsprechend der vertikalen Achse Q dargestellt ist, wobei 1 eine sehr gute Erkennung kennzeichnet und niedrigere Werte eine Erkennung mit geringerer Konfidenz kennzeichnen. Die horizontale Achse N weist in diesem Beispiel diskrete Werte auf, wobei jeder Wert für die Nummer des empfangenen Datensignals DATA steht.
-
In diesem Beispiel wird die Zuverlässigkeit QI der Erkennung als ein gleitender Mittelwert auf Basis der letzten vier empfangenen Werte Q1 für die Erkennungsgüte ermittelt, weshalb die Kurve für die Zuverlässigkeit QI erst ab dem vierten Wert Q1 beginnt. Die Erkennungsgüte Q1 ist bei den ersten sieben empfangenen Datensignalen DATA nahe bei 1, fällt dann jedoch ab. Dies ist beispielsweise von einer zunehmenden Verschmutzung des betreffenden Markers ID1 - ID4 (siehe 1) verursacht.
-
Die Zuverlässigkeit QI der Erkennung, wie von der Ermittlungseinheit 104 (siehe 1) des Parkassistenzsystems 100 (siehe 1) ermittelt, sinkt dementsprechend ebenfalls ab, wenn auch leicht verzögert aufgrund der Mittelwertbildung. Durch die Mittelwertbildung können einzelne Ausreißer in der Erkennungsgüte Q1, die beispielsweise durch eine verschmutzte optische Sensoreinheit 220 (siehe 1) verursacht sind, ausgeglichen werden.
-
Wenn beispielsweise die ermittelte Zuverlässigkeit QI einen vorbestimmten Schwellwert für den jeweiligen Marker ID1 - ID4 unterschreitet, wird ein entsprechendes Hinweissignal SIG (siehe 1) ausgegeben, beispielsweise an einen Betreiber des Parkassistenzsystems 100, um diesen darauf hinzuweisen, dass der betreffende Marker ID1 - ID4 nicht mehr zuverlässig erkannt wird und daher eine geeignete Gegenmaßnahme für diesen Marker ID1 - ID4 eingeleitet werden sollte.
-
3 zeigt ein Diagramm als ein zweites Ausführungsbeispiel für das Ermitteln einer Zuverlässigkeit QI. Das Diagramm weist beispielsweise die gleichen Einheiten wie anhand der 2 erläutert auf. Die Zuverlässigkeit QI wird beispielsweise wie anhand der 2 beschrieben als ein gleitender Durchschnitt gebildet. In diesem Beispiel weist das Datensignal DATA (siehe 1) beispielsweise zusätzlich eine Kennzeichnung auf, ob ein bestimmter Marker ID1 - ID4, insbesondere ein an einer bestimmten Position erwarteter Marker ID1 - ID4, erfasst und erkannt wurde oder nicht. Bei dem zuletzt empfangenen Datensignal DATA wurde der Marker ID1 - ID4 nicht erfasst oder nicht erkannt, was durch den Datenpunkt NA gekennzeichnet ist. Das Nicht-Erfassen oder Nicht-Erkennen des Markers ID1 - ID4 kann beispielsweise aufgrund einer vorübergehenden Abdeckung des Markers, beispielsweise durch eine anderes Fahrzeug 400 (siehe 4C), durch Vandalismus (Entfernen oder Zerstören des Markers) oder dergleichen hervorgerufen sein.
-
Bei diesem Ausführungsbeispiel ist vorgesehen, dass bei einem Nicht-Erkennen oder Nicht-Erfassen die Zuverlässigkeit QI unabhängig von dem bisherigen Verlauf auf einen geringen Wert gesetzt wird, vorliegend auf 0 (null). Dadurch wird erreicht, dass das Hinweissignal SIG (siehe 1) mit einer hohen Dringlichkeit betreffend diesen Marker ausgegeben wird, so geeignete Maßnahmen zur Behebung der Ursache zeitnah veranlasst werden können. Es sei angemerkt, dass die Zuverlässigkeit QI in weiteren Ausführungsbeispielen nicht bereits bei einer einzigen Nicht-Erfassung oder Nicht-Erkennung derart herabgesetzt wird, sondern beispielsweise erst nach zwei oder drei aufeinanderfolgenden Nicht-Erfassungen oder Nicht-Erkennungen.
-
4A - 4C zeigen drei verschiedene Beispiele für unterschiedliche erfasste Marker ID1 - ID3.
-
In der 4A weist der erfasste Marker ID1 eine fehlerhafte Orientierung OR auf, die hier durch einen Drehwinkel α gegenüber einer vorgesehenen Orientierung NV dargestellt ist. Die vorgesehene Orientierung NV entspricht beispielsweise einer Orientierung einer vorbestimmten Seite des Markers ID1 an einer Schwerkraftrichtung. Die Fehlorientierung OR kann zu einer schlechteren oder mit einer größeren Unsicherheit behafteten Erkennung des Markers ID1 führen. Dies kann durch die Erkennungsgüte Q1 (siehe 2 oder 3) dargestellt und dokumentiert werden. Der Marker ID1 in diesem Beispiel weist demnach eine reduzierte Erkennungsgüte Q1 gegenüber einer korrekten Orientierung auf.
-
In der 4B weist der erfasste Marker ID2 eine Anschmutzung DT auf, die den Marker teilweise überdeckt. Je nach dem, welche Bereiche des Markers ID2 von der Anschmutzung DT verdeckt sind, kann es sein, dass der Marker ID2 nicht mehr eindeutig erkennbar ist, das heißt, dass die Ermittlung der zugehörigen Marker-ID nicht mehr eindeutig möglich ist. Es könnte daher zu einer Verwechslung des Markers ID2 kommen, was in der Folge zu einer fehlerhaften Bahnplanung durch das Fahrerassistenzsystem 210 (siehe 1) und möglicherweise zu einer Kollision führen kann. Die Erkennungsgüte Q1 bildet die Konfidenz, mit der der Marker ID2 erfasst und erkannt wird, ab. Die auf Basis der Erkennungsgüte Q1 ermittelte Zuverlässigkeit Ql der Erkennung lässt daher beispielsweise einen Rückschluss darauf zu, dass der Marker ID2 gereinigt werden sollte und es kann ein entsprechende Hinweissignal SIG (siehe 1) ausgegeben werden.
-
In 4C wird der erfasste Marker ID3 teilweise von einem abgestellten Fahrzeug 400 überdeckt. Dieser Zustand dürfte zumeist nur temporär vorliegen, so dass bei der nächsten Erfassung des Markers ID3 zu einem späteren Zeitpunkt und/oder durch eine anderes Fahrzeug dieser wieder vollständig erfasst werden kann. In der für diesen Marker ID3 ermittelten Zuverlässigkeit QI der Erkennung würde sich dies beispielsweise in einer einmaligen oder plötzlich auftretenden und zeitlich begrenzten Verschlechterung der Erkennungsgüte Q1 darstellen, die wieder sprunghaft nach oben geht, wenn das Fahrzeug 400 wieder abgefahren ist. Je nachdem, wie gravierend die Verdeckung ist, kann in einem solchen Fall beispielsweise zugewartet werden, bevor der Marker ID3 überprüft wird..
-
5 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels eines Parkassistenzsystems 100. Das Parkassistenzsystem 100 umfasst eine Mehrzahl 101 von an bestimmten Positionen in einem vorbestimmten Bereich 110 (siehe 1) angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern ID1 - ID4, die von einem autonom gesteuerten Fahrzeug 200 (siehe 1) während einer autonomen Fahrt innerhalb des vorbestimmten Bereichs 110 zur Positionsbestimmung nutzbar sind. Ferner umfasst das Parkassistenzsystem 100 eine Empfangseinheit 102 zum Empfangen eines für eine Erkennungsgüte Q1 (siehe 2 oder 3) eines oder mehrerer der Marker ID1 - ID4 der Mehrzahl 101 indikativen Datensignals DATA (siehe 1) von dem autonom gesteuerten Fahrzeug 200, eine Ermittlungseinheit 104 zum Ermitteln einer Zuverlässigkeit QI (siehe 2 oder 3) der Erkennung des jeweiligen Markers ID1 - ID4 in Abhängigkeit des empfangenen Datensignals DATA, und eine Ausgabeeinheit 106 zum Ausgeben eines Hinweissignals SIG (siehe 1) betreffend einen oder mehrere der Marker ID1 - ID4 der Mehrzahl 101 in Abhängigkeit der ermittelten Zuverlässigkeit QI.
-
6 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 100 (siehe 1 oder 5). Das Parkassistenzsystem 100 umfasst eine Mehrzahl 101 (siehe 5) von an bestimmten Positionen in einem vorbestimmten Bereich 110 (siehe 1) angeordneten optisch erfassbaren und eindeutig unterscheidbaren Markern ID1 - ID4 (siehe 1 oder 5), die von einem autonom gesteuerten Fahrzeug 200 (siehe 1) während einer autonomen Fahrt innerhalb des vorbestimmten Bereichs 110 zur Positionsbestimmung nutzbar sind. In einem ersten Schritt S1 wird ein für eine Erkennungsgüte Q1 (siehe 2 oder 3) eines oder mehrerer der Marker ID1 - ID4 der Mehrzahl 101 indikatives Datensignal DATA (siehe 1) von dem autonom gesteuerten Fahrzeug 200 empfangen. In einem zweiten Schritt S2 wird eine Zuverlässigkeit QI (siehe 2 oder 3) der Erkennung des jeweiligen Markers in Abhängigkeit des empfangenen Datensignals DATA ermittelt, und in einem dritten Schritt S3 wird ein Hinweissignal SIG (siehe 1) betreffend einen oder mehrere der Marker ID1 - ID4 in Abhängigkeit der ermittelten Zuverlässigkeit QI ausgegeben.
-
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
-
Bezugszeichenliste
-
- 100
- Parkassistenzsystem
- 101
- Mehrzahl
- 102
- Empfangseinheit
- 104
- Ermittlungseinheit
- 106
- Ausgabeeinheit
- 110
- vorbestimmter Bereich
- 200
- Fahrzeug
- 210
- Fahrassistenzsystem
- 212
- Empfangseinheit
- 214
- Ermittlungseinheit
- 216
- Ausgabeeinheit
- 220
- optische Sensoreinheit
- 300
- Anordnung
- 400
- Objekt
- DATA
- Datensignal
- DT
- Schmutz
- ID1 - ID4
- Marker
- N
- Nummer
- NA
- Fehlerkennung
- NV
- Orientierung
- OR
- Orientierung
- Q
- Erkennungsgüte
- Q1
- Erkennungsgüte (Datenpunkt)
- QI
- Zuverlässigkeit
- S1 - S3
- Verfahrensschritte
- SIG
- Hinweissignal
