EP4639088A2

EP4639088A2 - Selbsttätiges manövrieren eines fahrzeugs basierend auf freigaben

Info

Publication number: EP4639088A2
Application number: EP23832981.7A
Authority: EP
Inventors: Luc Jansseune
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2022-12-21
Filing date: 2023-12-12
Publication date: 2025-10-29
Also published as: CN120418613A; JP2025542362A; WO2024132676A2; KR20250124234A; DE102022134369A1; WO2024132676A3

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug (12) zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute (38) von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug (12) eine Sensorik (20, 22) mit wenigstens einer optischen Kamera (20) zur Überwachung einer Umgebung (24) in Fahrtrichtung (26) des Fahrzeugs (12) aufweist, umfassend die Schritte Bereitstellen eines aktuellen Videobildes (40) der optischen Kamera (20) an der aktuellen Fahrzeugposition, Ermitteln der Freigabe zum selbsttätigen Manövrieren des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) basierend auf einem automatischen Vergleich von Bildinformationen (54) aus einem Kontrollbereich (46) des Videobildes (40) mit Referenzbildinformationen (66) aus dem Kontrollbereich (46) ausgehend von einem zuvor aufgenommenen Vergleichsbild, und Ausgeben der ermittelten Freigabe zum selbsttätigen Manövrieren des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) für einen Schritt, der mit dem aktuellen Videobild (40) korrespondiert. Die Erfindung betrifft ebenfalls ein Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs (12).

Description

Selbsttätiges Manövrieren eines Fahrzeugs basierend auf Freigaben

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug eine Sensorik mit wenigstens einer optischen Kamera zur Überwachung einer Umgebung in Fahrtrichtung des Fahrzeugs aufweist.

Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug eine Sensorik mit wenigstens einer optischen Kamera zur Überwachung einer Umgebung in Fahrtrichtung des Fahrzeugs aufweist, wobei das Verfahren ein Ermitteln von schrittweisen Freigaben zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute mit dem obigen Verfahren umfasst.

Die vorliegende Erfindung betrifft ebenfalls ein Fahrunterstützungssystem für ein Fahrzeug, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.

Auch betrifft die vorliegende Erfindung ein cloudbasiertes Fahrunterstützungssystem mit wenigstens einem Fahrzeug und einem cloudbasierten Freigabeserver, wobei das wenigstens eine Fahrzeug und der cloudbasierte Freigabeserver über eine Datenverbindung miteinander verbunden sind, und das cloudbasierte Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.

Verschiedenartige Unterstützungssysteme finden bereits in aktuellen Fahrzeugen Verwendung, um das Fahren mit dem Fahrzeug sicherer und entspannter zu gestalten. Dazu gehören Notbremssysteme, Spurhaltesysteme, Abstandshaltesysteme oder auch Querverkehrswarnsysteme, um nur einige wenige zu nennen. Solche Unterstützungssysteme werden teilweise unter dem Begriff ADAS (Advanced Driver Assistance Systems) zusammengefasst. Zusätzlich werden Anwendungen im Bereich „autonomes Fahren“ stetig weiterentwickelt, um den Fahrer des Fahrzeugs mehr und mehr zu entlasten bis hin zu einem Fährbetrieb, in dem das Fahrzeug vollständig autonom fährt und ein Fahrzeugführer im hergebrachten Sinn nicht mehr erforderlich ist. Längerfristiges Ziel ist es, autonomes Fahren im Sinne des SAE-Standard J3016 mit Stufe 5 zu erreichen, wobei Stufe 5 ein autonomes Fahren ohne Eingriff durch einen Fahrzeugführer betrifft. Aktuell werden erste Systeme der Stufe 4 für bestimmte Anwendungsfälle zur Marktreife gebracht.

Für all diese Anwendungen ist es wichtig, eine Umgebung des Fahrzeugs möglichst zuverlässig zu erfassen. Dies betrifft sowohl statische wie auch dynamische Objekte. Insbesondere die Erfassung dynamischer Objekte basiert typischerweise auf einer Erfassung der Umgebung durch das Fahrzeug selbst mit einem entsprechenden Sensorsystem. Dabei ist zu berücksichtigen, dass jede Art verwendeter Umgebungssensoren, beispielsweise optische Kameras, LiDAR-basierte Umgebungssensoren, Radarsensoren oder auch Ultraschallsensoren, bestimmte Vor- und auch Nachteile aufweisen, welche einen Einfluss auf die Erfassung der Umgebung haben. So zeichnen sich optische Kameras durch eine hohe Auflösung und eine große Reichweite aus und ermöglichen eine zuverlässige Erkennung von Objekten in der Umgebung des Fahrzeugs. Allerdings weisen sie Schwächen bei der Bestimmung von Abständen zu den Objekten auf, und ihre Leistung kann bei bestimmten Umgebungsbedingungen wie Nebel oder Niederschlag sinken. LiDAR-basierte Umgebungssensoren sind demgegenüber sehr zuverlässig bei der Bestimmung der Entfernung von Objekten und weisen eine hohe Toleranz für verschiedene Umgebungsbedingungen auf, sind allerdings vergleichsweise teuer und habe eine geringe horizontale Winkelauflösung. Auch ist eine zuverlässige Erkennung von Objekten in der Umgebung des Fahrzeugs aktuell nicht möglich. Vergleichbares wie für die LiDAR-basierten Umgebungssensoren gilt für Radarsensoren. Ultraschallsensoren sind wiederum nur für kurze Reichweiten geeignet und weisen nur eine sehr geringe Richtcharakteristik auf, während sie besonders kostengünstig verfügbar und in aktuellen Fahrzeugen bereits weit verbreitet sind. Für die massenhafte Verbreitung von Fahrunterstützungssystemen ist unter anderem ein günstiger Preis wichtig, wodurch eine Verwendung von LiDAR-basierten Umgebungssensoren aktuell ausgeschlossen ist. Im Stand der Technik sind zur Verwendung in verschiedenen Unterstützungssystemen bereits Sensorsysteme mit mehreren Arten von Umgebungssensoren bekannt, die insgesamt kostengünstig bereitgestellt werden können. Dabei wird beispielsweise eine optische Frontkamera, die hinter einer Windschutzscheibe des Fahrzeugs montiert ist, mit Ultraschallsensoren, die entlang der Fahrzeugseiten montiert sind, kombiniert. Auch diese Lösung ist jedoch typischerweise nicht ausreichend, um eine gewünschte Leistung und Zuverlässigkeit zur Verfügung zu stellen, beispielsweise für autonomes Fahren gemäß Level 4. Mit einer zunehmenden Anzahl von Umgebungssensoren, beispielsweise mehreren optischen Kameras, lässt sich die Leistung der Sensorsysteme zur Umgebungserfassung zwar steigern. Allerdings sind solche Sensorsysteme für aktuelle Serienfahrzeuge aufgrund der Kosten für die Sensorik und der zusätzlichen Anforderungen an die Verarbeitung der von diesen Umgebungssensoren bereitgestellten Sensordaten nicht geeignet.

Dies gilt auch für Anwendungsfälle in an sich bekannten Umgebungen. So sind beispielsweise automatische Parksysteme bekannt, bei denen Fahrzeuge beispielsweise in einem Grundstücksbereich selbstständig zu ihrem Stellplatz fahren. Solche Systeme erfordern aktuell eine Überwachung durch den Fahrzeugführer. Diese Überwachung kann dabei auch von außerhalb des Fahrzeugs erfolgen. Dies entspricht einem autonomen Fahren gemäß Level 2. Ein autonomes Fahren im Sinne von Level 4 kann dadurch aber noch nicht realisiert werden. Dies gilt auch für aktuelle Valet- Parksysteme. Zwar gibt es Ansätze, die Leistung bei Umgebungserfassung durch zusätzliche, externe Umgebungssensoren zu verbessern. Solche externen Umgebungssensoren sind Teil einer Infrastruktur in dem Bereich, in dem das Fahrzeug manövriert wird. Auch diese externen Umgebungssensoren sind jedoch mit hohen, zusätzlichen Kosten verbunden. Auch kann dies nur mit Zustimmung eines Eigentümers der Infrastruktur, beispielsweise eines Grundstücksbesitzers, erfolgen und ist insbesondere in öffentlichen Bereichen schwierig umzusetzen. Darüber hinaus ist die Frage der Verantwortung zwischen Fahrzeughersteller und einem Bereitsteiler von externen Umgebungssensoren schwierig zu klären.

Um die Anforderungen an die Datenverarbeitung im Fahrzeug zu vereinfachen, ist es prinzipiell möglich, das selbsttätige Manövrieren cloudbasiert durchzuführen. Dabei werden Sensorinformationen von Umgebungserfassungssensoren des Fahrzeugs an einen Cloudserver übertragen und dort verarbeitet. Dies scheitert jedoch in der Praxis an den zu übertragenden Datenmengen.

In der Praxis ist es daher beim selbsttätigen Manövrieren eines Fahrzeugs üblich, dass der Fahrzeugführer das Manövrieren überwacht und Freigaben erteilt, damit das Fahrzeug weiter manövrieren kann. Dies kann beispielsweise nach der Art einer kontinuierlichen Bestätigung durch den Fahrzeugführer erfolgen, wobei das Manövrieren beim Ausbleiben der Bestätigung gestoppt wird. Alternativ oder zusätzlich kann der Fahrzeugführer bereitgestellte Informationen für das selbsttätige Manövrieren beispielsweise vorab oder während des Manövrierens prüfen. Zwar kann der Fahrzeugführer die Freigaben auch von außerhalb des Fahrzeugs erteilen, allerdings ist erforderlich, dass sich der Fahrzeugführer zumindest in der Nähe des Fahrzeugs befindet.

Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zum cloudbasierten, selbsttätigen Manövrieren eines Fahrzeugs entlang einer vorgegebenen Fahrroute, ein Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs entlang einer vorgegebenen Fahrroute, ein Fahrunterstützungssystem für ein Fahrzeug, welches eines der obigen Verfahren durchführt, sowie ein entsprechendes cloudbasiertes Fahrunterstützungssystem anzugeben, die ein effizientes cloudbasiertes Manövrieren des Fahrzeugs mit einer hohen Zuverlässigkeit ermöglichen, insbesondere für begrenzte Anwendungen wie beispielsweise zum autonomen Parken des Fahrzeugs.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.

Erfindungsgemäß ist somit ein Verfahren angegeben zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug eine Sensorik mit wenigstens einer optischen Kamera zur Überwachung einer Umgebung in Fahrtrichtung des Fahrzeugs aufweist, umfassend die Schritte Bereitstellen eines aktuellen Videobildes der optischen Kamera an der aktuellen Fahrzeugposition, Ermitteln der Freigabe zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute basierend auf einem automatischen Vergleich von Bildinformationen aus einem Kontrollbereich des Videobildes mit Referenzbildinformationen aus dem Kontrollbereich ausgehend von einem zuvor aufgenommenen Vergleichsbild, und Ausgeben der ermittelten Freigabe zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute für einen Schritt, der mit dem aktuellen Videobild korrespondiert.

Erfindungsgemäß ist des Weiteren ein Verfahren angegeben zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug eine Sensorik mit wenigstens einer optischen Kamera zur Überwachung einer Umgebung in Fahrtrichtung des Fahrzeugs aufweist, wobei das Verfahren ein Ermitteln von schrittweisen Freigaben zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute mit dem obigen Verfahren umfasst.

Erfindungsgemäß ist ebenfalls ein Fahrunterstützungssystem für ein Fahrzeug angegeben, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.

Erfindungsgemäß ist außerdem ein cloudbasiertes Fahrunterstützungssystem angegeben mit wenigstens einem Fahrzeug und einem cloudbasierten Freigabeserver, wobei das wenigstens eine Fahrzeug und der cloudbasierte Freigabeserver über eine Datenverbindung miteinander verbunden sind, und das cloudbasierte Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen.

Grundidee der vorliegenden Erfindung ist es also, das schrittweise Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren des Fahrzeugs entlang einer vorgegebenen Fahrroute ausgehend von der Sensorik des Fahrzeugs zu ermöglichen, wobei basierend auf der optischen Kamera eine Überwachung der Umgebung des Fahrzeugs in Fahrtrichtung durchgeführt wird. Es können automatisch schrittweise Freigaben erzeugt werden, so dass ein freigabebasiertes, selbsttätiges Manövrieren durchgeführt werden kann. Die Freigaben können basierend auf dem automatischen Vergleich der Bildinformationen aus dem Kontrollbereich des Videobildes mit den korrespondierenden Referenzbildinformationen aus dem Kontrollbereich erzeugt werden. Diese Freigaben können somit beispielsweise wie bisher übliche Freigaben, die von dem Fahrzeugführer erzeugt werden, verwendet werden, um das selbsttätige Manövrieren des Fahrzeugs zu ermöglichen. Das Fahrzeug kann somit selbsttätig in bzw. durch den Kontrollbereich manövrieren. Durch das iterative Durchführen des Verfahrens kann eine iterative Überprüfung der Fahrroute bis zum Zielpunkt erfolgen, und das Fahrzeug kann selbsttätig bis zum Zielpunkt manövrieren.

Die Kommunikation des Fahrzeugs mit dem cloudbasierten Freigabeserver über die Datenverbindung kann dabei besonders effizient durchgeführt werden, da die zu übertragende Datenmenge durch die Betrachtung lediglich des Kontrollbereichs reduziert wird. Die Übertragung der Bildinformationen an den Freigabeserver ist auf den Kontrollbereich beschränkt und kann so aufgrund der reduzierten, zu übertragenden Datenmenge beschleunigt werden. Auch kann durch die Betrachtung lediglich des Kontrollbereichs die Verarbeitung der entsprechenden Bildinformationen in einer kurzen Zeit durchgeführt werden. Im Ergebnis können somit geringe Latenzzeiten bei der gesamten Datenverarbeitung von dem Bereitstellen des aktuellen Videobildes bis zum Empfangen der Freigabe in dem Fahrzeug erreicht werden.

Insbesondere kann bei bestimmten Anwendungen somit eine Fahrroute mit einer ausreichenden Länge erfasst und freigegeben werden, so dass beispielsweise ein autonomes Fahren im Sinne von Level 4 erreicht werden kann. Dies gilt beispielsweise für Anwendungen zum autonomen Parken des Fahrzeugs, bei denen eine Fahrroute vorgegeben ist oder beispielsweise vorab ermittelt wird, so dass nur ein kleiner Bereich der Umgebung zu überwachen ist. Auch kann bei solchen Anwendungen eine geringe Fahrgeschwindigkeit vorgegeben werden, so dass sich der Kontrollbereich nur langsam entlang der Fahrroute ändert.

Besonders vorteilhaft kann das Verfahren beispielsweise durchgeführt werden bei aktuellen Anwendungen zum autonomen Fahren nach Level 2, die eine Überwachung durch den Fahrzeugführer erfordern. Dabei kann eine Bestätigung der Überwachung durch den Fahrzeugführer durch die entsprechende Freigabe zum Bewegen des Fahrzeugs entlang der vorgegebenen Fahrroute durch die automatisch ermittelte Freigabe ersetzt werden. Entsprechend können bestehende Fahrunterstützungssysteme zum autonomen Fahren nach Level 2 einfach erweitert werden zum autonomen Fahren beispielsweise gemäß Level 4, ohne dass größere Eingriffe in die entsprechende Applikation zum autonomen Fahren erforderlich wären. Es ist lediglich erforderlich, zusätzlich das beschriebene Verfahren zum Ermitteln von schrittweisen Freigaben zu implementieren und das Empfangen der Freigabe zum Bewegen des Fahrzeugs entlang der vorgegebenen Fahrroute von dem Freigabeserver als Bestätigung der Überwachung durch den Fahrzeugführer zu verwenden.

Das Fahrzeug kann ein beliebiges Fahrzeug sein, das ausgeführt ist zum selbsttätigen fahren bzw. autonomen Fahren.

Das selbsttätige Manövrieren betrifft ein zumindest teilweise autonomes Bewegen des Fahrzeugs. Dazu kann die Fahrroute vorgegeben sein, beispielsweise durch ein Abfahren der Fahrroute von einem menschlichen Fahrzeugführer, so dass die Fahrroute gelernt werden kann. Die vorgegebene Fahrroute verbindet die aktuelle Fahrzeugposition und den Zielpunkt. Die vorgegebene Fahrroute gibt einen Streckenverlauf für das Erreichen der Zielposition an. Durch die vorgegebene Fahrroute stehen die Referenzbildinformationen bereit zum Vergleich mit der Bildinformation des aktuellen Videobildes.

Die Sensorik umfasst wenigstens eine optische Kamera zur Überwachung einer Umgebung des Fahrzeugs in Fahrtrichtung des Fahrzeugs. Die optische Kamera kann beispielsweise hinter einer Windschutzscheibe des Fahrzeugs angebracht sein zur Überwachung der Umgebung vor dem Fahrzeug, was dem typischen Vorwärtsfahren entspricht. Entsprechend ist beim Rückwärtsfahren eine optische Kamera erforderlich, die zur Rückseite des Fahrzeugs ausgerichtet ist. Derartige optische Kameras haben typischerweise einen großes Sichtfeld von 90° oder 120° bis hin zu 180°, so dass die optische Kamera die Fahrroute zumindest in einer nahen bis mittleren Entfernung von beispielsweise bis hin zu wenigen 10 Metern erfassen kann.

Die Sensorik kann zusätzliche Umgebungserfassungssensoren, beispielsweise als Ultraschallsensoren aufweisen, um eine zusätzliche Überwachung der Umgebung des Fahrzeugs durchzuführen. Damit kann die Zuverlässigkeit beim Manövrieren des Fahrzeugs zusätzlich verbessert werden.

Das Bereitstellen des aktuellen Videobildes der optischen Kamera an der aktuellen Fahrzeugposition entspricht der Bereitstellung von einem Bild oder einer Sequenz von Bildern nach der Art eines Videos. Das aktuelle Videobild kann in einer beliebigen Weise kodiert sein oder in einem raw-Format vorliegen. Eigenschaften des bereitgestellten aktuellen Videobildes werden prinzipiell durch Eigenschaften der optischen Kamera definiert.

Das Ermitteln der Freigabe zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute basierend auf einem automatischen Vergleich von Bildinformationen aus einem Kontrollbereich mit Referenzbildinformationen aus einem Kontrollbereich ausgehend von einem zuvor aufgenommenen Vergleichsbild, ermöglicht es, auf automatische Weise Unterschiede zwischen den Bildinformation der beiden Kontrollbereiche zu erkennen. Die Referenzbildinformationen für den Kontrollbereich stellen diesen ohne für das Fahrzeug relevante Hindernisse dar. Für die Referenzbildinformationen wird also eine implizite Freigabe angenommen. Bei einer Abweichung der empfangenen Bildinformationen von den Referenzbildinformationen kann von einem Vorhandensein eines Hindernisses ausgegangen werden, so dass keine Freigabe erzeugt wird. Um im Falle einer Abweichung trotzdem eine Freigabe erteilen zu können, kann die Art der Abweichung bestimmt werden. Da der Kontrollbereich durch die Fahrroute definiert ist, kann durch den automatischen Vergleich ermittelt werden, ob das Fahrzeug durch den Kontrollbereich bewegt werden kann.

Die Referenzbildinformationen können je nach Ausgestaltung der Verfahren in dem Fahrzeug oder in dem cloudbasierten Freigabeserver gespeichert werden. Die Verfahren können beispielsweise im Wesentlichen autark in dem Fahrzeug durchgeführt werden, d.h. die Referenzbildinformationen sind in dem Fahrzeug gespeichert. Auch können die Referenzbildinformationen von dem jeweiligen Fahrzeug selbst erzeugt werden. Alternativ können die Referenzbildinformationen von den cloudbasierten Freigabeserver an das Fahrzeug übertragen und dort permanent bereitgestellt werden. Alternativ können die Referenzbildinformationen dynamisch, beispielsweise abhängig von der Position des Fahrzeugs, von dem cloudbasierten Freigabeserver bereitgestellt werden. Auch können Teile des Verfahrens in dem cloudbasierten Freigabeserver durchgeführt werden. Dazu können dann beispielsweise die Bildinformationen von dem Fahrzeug an den cloudbasierten Freigabeserver übertragen werden.

Der Kontrollbereich entspricht einem Bereich, für den die Freigabe ermittelt wird durch den automatischen Vergleich der Bildinformationen des Videobildes mit den Referenzbildinformationen des Vergleichsbilds. Der Kontrollbereich kann das gesamte Videobild umfassen, oder nur einen Teilbereich davon. Dabei können unterschiedliche Bereiche des aktuellen Videobildes den Kontrollbereich bilden. Auch kann sich der Kontrollbereich beispielsweise abhängig von Fahrparametern ändern, beispielsweise kann der Kontrollbereich für unterschiedliche Geschwindigkeiten unterschiedlich groß gewählt sein.

Die Freigabe zum selbsttätigen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute stellt eine Freigabe für das Befahren des betrachteten Kontrollbereichs dar. Das Fahrzeug kann somit selbsttätig in bzw. durch den Kontrollbereich manövrieren. Durch das iterative Durchführen des Verfahrens kann eine iterative Überprüfung des gesamten Fahrkorridors bis zum Zielpunkt erfolgen.

Das freigabebasierte, selbsttätige Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute gemäß der empfangenen Freigabe betrifft ein autonomes Fahren des Fahrzeugs. Das Fahrzeug kann dabei eine Quer- und Längssteuerung durchführen. Das selbsttätige Manövrieren des Fahrzeugs wird dabei basierend auf den ermittelten Freigaben durchgeführt, mit denen das Fahrzeug selbsttätig entlang der vorgegebenen Fahrroute manövrieren. Die Freigaben werden schrittweise erteilt abhängig von den jeweiligen Videobildern, die von der optischen Kamera bereitgestellt werden.

Das Verfahren kann einerseits in dem Fahrzeug selbst durchgeführt werden, d.h. in dem Fahrunterstützungssystem. Alternativ kann das Verfahren mit einem cloudbasierten Fahrunterstützungssystem durchgeführt werden, das von dem wenigstens einen Fahrzeug zusammen mit dem cloudbasierten Freigabeserver gebildet wird. Teile des Verfahrens werden somit in dem jeweiligen Fahrzeug durchgeführt, und die anderen Schritte des Verfahrens werden von dem Freigabeserver, der in der Cloud positioniert ist, durchgeführt.

Der cloudbasierte Freigabeserver ist ein an sich beliebiger Server, der über die Datenverbindung mit dem entsprechenden Fahrzeug verbunden ist. Wichtig ist lediglich die Ausführung der erforderlichen Verfahrensschritte, die dem Freigabeserver zugeordnet sind. Der Freigabeserver umfasst in üblicher weise Verarbeitungsmittel, Speichermittel und Kommunikationsmittel, wobei die Kommunikationsmittel zur Herstellung der Datenverbindung verwendet werden.

Die Datenverbindung wird zur Übertragung von Daten, in diesem Fall der Bildinformationen aus dem Kontrollbereich sowie der Freigabe, zwischen dem wenigstens einen Fahrzeug und dem Freigabeserver verwendet. Die Datenverbindung ist somit eine prinzipiell beliebige Kommunikationsverbindung zwischen Fahrzeug und Freigabeserver, die eine Kombination prinzipiell beliebiger Übertragungsmedien und - Protokolle umfassen kann. Sie stellt ein übliches Kommunikationsmittel dar und ist als solche für die Funktion des cloudbasierten Fahrunterstützungssystems ohne Belang. Eine beliebige Datenverbindung kann hier verwendet werden, wobei bei einer heutzutage üblichen paketorientierten Datenübertragung beliebige Übertragungswege für die Datenübertragung verwendet werden können, ohne dass das wenigstens eine Fahrzeug oder der Freigabeserver darauf Einfluss nehmen müssen. Üblicherweise kann ein solcher Einfluss auch nicht ausgeübt werden.

Das Videobild kann beispielsweise ein einzelnes Bild, auch als Frame bekannt, sein, das von der optischen Kamera aufgenommen und bereitgestellt wird. Alternativ kann das Videobild ein Bewegtbild basierend auf einer Sequenz von einzelnen Frames sein, d.h. es werden Videosequenzen betrachtet.

Die Bildinformationen können Pixel des aktuellen Videobildes in dem Kontrollbereich umfassen, also ein Teil des aktuell bereitgestellten Videobildes. Die Bildinformationen können alternativ oder zusätzlich in einer beliebigen Weise verarbeitete oder vorverarbeitete Pixel des aktuellen Videobildes in dem Kontrollbereich umfassen oder darauf basieren. Dadurch können beispielsweise relevante Teile des aktuellen Videobildes in dem Kontrollbereich ermittelt und verglichen werden. Die Bildinformationen können Informationen, beispielsweise semantische Informationen, in Bezug auf Inhalte des aktuellen Videobildes in dem Kontrollbereich umfassen.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen Schritt zum Zusammenpassen der Bildinformationen aus dem Kontrollbereich mit den Referenzbildinformationen aus dem Kontrollbereich. In der Praxis kann es zu Lokalisierungsfehlern kommen, oder die Lokalisierung des Fahrzeugs ist nicht hinreichend genau, was einen Vergleich der empfangenen Bildinformationen mit der Referenzbildinformationen für den jeweils aktuellen Kontrollbereich erschweren oder gar unmöglich machen kann. Durch das Zusammenpassen der Bildinformationen kann die Lokalisierung des Fahrzeugs verbessert werden. Durch das Zusammenpassen der Bildinformationen können somit die Bildinformationen zuverlässig verglichen werden, und das Auftreten von Fehlern kann reduziert werden. Das Zusammenpassen der Bildinformationen mit den Referenzbildinformationen erfolgt vor dem Ermitteln einer Freigabe basierend auf einem automatischen Vergleich der empfangenen Bildinformationen mit den Referenzbildinformationen. Solche Verfahren sind auch unter dem Begriff „visuelle Odometrie“ bekannt.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Zusammenpassen der Bildinformationen aus dem Kontrollbereich mit den Referenzbildinformationen aus dem Kontrollbereich ein Bestimmen einer aktuellen Fahrzeugposition. Basierend auf der Fahrzeugposition kann das Zusammenpassen der Bildinformationen mit den Referenzbildinformationen effizient durchgeführt werden.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen einer aktuellen Fahrzeugposition ein Bestimmen der aktuellen Fahrzeugposition basierend auf einem Empfangen von Signalen von einem Satellitennavigationssystem, insbesondere unter Verwendung eines Differential Global Positioning Systems, und/oder einem Bereitstellen von Odometrie-Informationen des Fahrzeugs, und/oder einem Erkennen von Landmarken entlang der vorgegebenen Fahrroute des Fahrzeugs, und/oder einem Bestimmen der aktuellen Fahrzeugposition mit einem System zur visuellen, simultanen Positionsbestimmung und Kartierung. Verschiedene der obigen Verfahren zur Bestimmung der Position des Fahrzeugs können allein oder in Kombination verwendet werden zur Bestimmung der aktuellen Fahrzeugposition. Dies betrifft sowohl das aktuell manövrierte bzw. manövrierende Fahrzeug wie die Bereitstellung der Referenzbildinformationen. Das Verwenden von Signalen von einem Satellitennavigationssystem ist weit verbreitet, insbesondere zur Fahrzeugnavigation. Durch die Verwendung eines Differential Global Positioning Systems kann die Genauigkeit der Positionsbestimmung von einer Genauigkeit von wenigen Metern bis hin zu einer Genauigkeit von weniger als einem halben Metern oder weniger gesteigert werden. Die Odometrie-Informationen des Fahrzeugs können von Odometriesensoren bereitgestellt werden, beispielsweise von einem Radumdrehungssensor (wheel tics) wie auch von einem Sensor zur Erfassung eines aktuellen Lenkwinkels. Die Odometrie- Informationen ermöglichen eine sehr akkurate Bestimmung von Positionsänderungen des Fahrzeugs. Da die Odometriesensoren typischerweise kurze Messzyklen aufweisen und daher schneller sind als beispielsweise Satellitennavigationssysteme, kann durch eine Kombination von beiden Arten der Positionsbestimmung die Fahrzeugposition besonders zuverlässig bestimmt werden. Landmarken können zur exakten Bestimmung der Fahrzeugposition beitragen und die Positionsbestimmung verbessern. Beispielsweise sind Aruco-Codes als Landmarken bekannt. Die visuelle, simultane Positionsbestimmung und Kartierung ist unter dem englischen Begriff Visual Simultaneous Localization and Mapping (V-SLAM) bekannt und basiert auf einer Positionsbestimmung ausgehend von zeitlich versetzten Kamerabildern, wodurch eine Positionsänderung des Fahrzeugs bestimmt werden kann.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Bereitstellen von Odometrie- Informationen des Fahrzeugs ein Bereitstellen von visuellen Odometrie-Informationen des Fahrzeugs, insbesondere basierend auf einer Bodenstruktur und/oder ein Bereitstellen von Sensorsignalen von wenigstens einem Odometrie-Sensor des Fahrzeugs. Bodenstrukturen wie ein Pflaster mit bestimmten Steinen können insbesondere bei geringen Entfernungen mit hohem Detailgrad erkannt werden und ermöglichen anhand einer Form ihrer Struktur eine zuverlässige Positionsbestimmung. Aufgrund typischer Strukturgrößen von beispielsweise Pflastersteinen im Bereich von etwa 10 bis 20 Zentimetern können hohe Genauigkeiten bei der Positionsbestimmung erzielt werden. Anhand der Bodenstruktur kann eine Bewegung von Merkmalen, beispielsweise von Pixeln, zuverlässig erfasst werden, d.h. es wird ein Pixelflow erfasst. Abweichungen im Pixelflow sind repräsentativ für Reliefunterschiede und können sehr zuverlässig ausgewertet werden. Pixelflow ist tolerant gegenüber typischen Fehlerquellen wie Farbe, Beleuchtung oder Bodenfeuchtigkeit.

In vorteilhafter Ausgestaltung der Erfindung umfasst bei einer mangelnden Freigabe das Verfahren einen Schritt zum Übertragen der Bildinformationen aus dem Kontrollbereich und der Referenzbildinformationen aus dem Kontrollbereich an einen Operator zum Ermitteln der Freigabe. Somit kann selbst bei einem Fehler beim Ermitteln der Freigabe, d.h. wenn die Freigabe nicht automatisch basierend auf dem Vergleich der Bildinformationen mit den Referenzbildinformationen aus dem Kontrollbereich, noch eine Freigabe erfolgen, wenn der Operator ermittelt, dass das Fahrzeug in den Kontrollbereich manövriert werden kann. Ein Eingreifen des Fahrzeugführers ist somit nicht erforderlich. Der Operator kann sich prinzipiell an einer beliebigen Position befinden. Beispielsweise kann der Operator unmittelbar mit dem Freigabeserver verbunden sein, oder „remote“ die Freigabe ermitteln. Prinzipiell kann es aber ausreichend sein, wenn ein Insasse des Fahrzeugs als Operator agiert. So können beispielswese die Bildinformationen aus dem Kontrollbereich und die Referenzbildinformationen aus dem Kontrollbereich an eine Benutzerschnittstelle des Fahrzeugs übertragen werden, und der Operator kann über die Benutzerschnittstelle die Freigabe prüfen und erteilen.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren bei einer Freigabe durch den Operator ein Anpassen der Referenzbildinformationen basierend auf den Bildinformationen aus dem Kontrollbereich. Wenn also die Freigabe durch den Operator erfolgt, kann das System durch das Anpassen der Referenzbildinformationen so angepasst werden, dass in dem betrachteten Kontrollbereich bei einem erneuten Vergleich von Bildinformationen und Referenzbildinformationen die Freigabe automatisch erfolgen kann. Vorzugsweise erfolgt ein maschineller Lernprozess. Wenn die Referenzbildinformationen auf dem cloudbasierten Freigabeserver gespeichert sind, können alle verbundenen Fahrzeuge gemeinsam dazu beitragen, die Referenzbildinformationen zu verbessern und anzupassen.

In vorteilhafter Ausgestaltung der Erfindung weist das Verfahren einen Schritt zum Abfahren der Fahrroute zum Lernen der Fahrroute, insbesondere als Trajektorie, auf, umfassend Bereitstellen von Videobildern der optischen Kamera entlang der abgefahrenen Fahrroute, und Speichern von Bildinformationen aus dem Kontrollbereich als Referenzbildinformationen aus dem Kontrollbereich oder zumindest eines Ausschnitts der Videobilder als Vergleichsbilder. Das Abfahren der Fahrroute und damit das Lernen der Fahrroute kann mit einem beliebigen Fahrzeug durchgeführt werden. Sobald also eine Fahrroute ein erstes Mal gefahren wurde, stehen die Referenzbildinformationen für das entsprechende Fahrzeug bereit. Bei der Verwendung des Freigabeservers können die Referenzbildinformationen auch für andere Fahrzeuge bereitgestellt, so dass das Verfahren zum Ermitteln von schrittweisen Freigaben sowie zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von allen Fahrzeugen durchgeführt werden können. Je häufiger die Fahrroute abgefahren wurde, desto besser ist die Qualität der Referenzbildinformationen, und desto öfter und zuverlässiger kann eine automatische Prüfung und Freigabe durchgeführt. Die Trajektorie umfasst zusätzlich zu der Fahrroute Bewegungsinformation für das Manövrieren, z.B. Geschwindigkeiten oder Beschleunigungen.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Übertragen der Bildinformationen aus dem Kontrollbereich als Referenzbildinformationen aus dem Kontrollbereich oder zumindest eines Ausschnitts der Videobilder als Vergleichsbilder an einen cloudbasierten Freigabeserver. Die Referenzbildinformationen werden somit in dem cloudbasierten Freigabeserver gespeichert, so dass diese verschiedenen Fahrzeugen zur Verfügung gestellt werden können. Auch können die Referenzbildinformationen durch verschiedene Fahrzeuge in dem cloudbasierten Freigabeserver gemeinsam bereitgestellt werden. Die Referenzbildinformationen können die Bildinformationen sein, wie sie von den Fahrzeugen an den cloudbasierten Freigabeserver übertragen werden, oder der cloudbasierte Freigabeserver kann eine Verarbeitung der übertragenen Bildinforationen durchführen, und beispielsweise die Referenzbildinformationen aus den Vergleichsbildern ermitteln.

Als Referenzbildinformationen können die Bildinformationen gespeichert werden und/oder zumindest der Ausschnitt der Videobilder als Vergleichsbilder, so dass diese (Ausschnitte der) Vergleichsbilder als Bildinformation verwendet werden können, oder die Bildinformationen in einer gewünschten Form zu einem beliebigen Zeitpunkt daraus erzeugt werden können.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Ermitteln der Bildinformationen aus dem Kontrollbereich basierend auf einem Fluss von Bildelementen, insbesondere Pixeln, basierend auf wenigstens zwei einzelnen Videobildern der optischen Kamera. Solche Bildinformationen können eine Räumlichkeit der Bildinformationen erzeugen, welche das Ermitteln der Freigabe basierend auf einem automatischen Vergleich der Bildinformationen aus dem Kontrollbereich mit den Referenzbildinformationen aus dem Kontrollbereich verbessern. Das Prinzip beruht darauf, dass unterschiedlich entfernte Bildelemente bei einer Positionsänderung des Fahrzeugs unterschiedliche relative Positionsänderungen zu der optischen Kamera erfahren. In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren Schritte zum Identifizieren eines Fahrkorridors in dem aktuellen Videobild, und zum Identifizieren des Kontrollbereichs entlang des Fahrkorridors, insbesondere in dem Fahrkorridor, abhängig von der Fahrroute und/oder Fahrparametern des Fahrzeugs. Das Identifizieren des Fahrkorridors in dem aktuellen Videobild kann beispielsweise nach der Art einer Projektion oder eines Overlays des Fahrkorridors in das aktuelle Videobild erfolgen abhängig von Position und Ausrichtung des Fahrzeugs. Der Fahrkorridor kann als einzelne Linie, insbesondere als Mittellinie, oder mit seitlichen Begrenzungslinien definiert werden. Der Fahrkorridor kann vorzugsweise abhängig von der Fahrroute in dem aktuellen Videobild identifiziert werden, so dass einerseits eine zu verarbeitende Datenmenge reduziert werden kann und andererseits durch den Fahrkorridor sichergestellt ist, dass der Kontrollbereich so gewählt ist, dass es für das Manövrieren des Fahrzeugs relevant ist. Eine Verarbeitung von Daten, die für das Manövrieren des Fahrzeugs nicht relevant sind, kann unterbleiben. Entsprechend können je nach Ausgestaltung des Verfahrens Anforderungen an die Datenübertragung zwischen dem entsprechenden Fahrzeug und dem cloudbasierten Freigabeserver weiter reduziert werden.

Das Identifizieren des Kontrollbereichs entlang des Fahrkorridors kann beispielsweise mit einem Fenster mit vorgegebenen Abmessungen und einer vorgegebenen Position in Bezug auf die optische Kamera erfolgen. So kann dieses Fenster entlang des Fahrkorridors bewegt werden, wenn sich das Fahrzeug bewegt. Bei einem durch seitliche Begrenzungslinien definierten Fahrkorridor kann der Kontrollbereich zwischen diesen Begrenzungslinien und zwei Entfernungsgrenzen identifiziert werden. Das Identifizieren des Kontrollbereichs kann abhängig von der Fahrroute durchgeführt werden, so dass sich der Kontrollbereich abhängig von der Fahrroute mit dieser ändern kann, d.h. unterschiedliche Bereiche des aktuellen Videobildes werden als Kontrollbereich identifiziert. Das Identifizieren des Kontrollbereichs kann abhängig von Fahrparametern des Fahrzeugs durchgeführt werden, so dass sich der Kontrollbereich abhängig von den Fahrparametern ändern kann. So kann der Kontrollbereich beispielsweise für unterschiedliche Geschwindigkeiten unterschiedlich groß gewählt sein. In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Ermitteln von Helligkeitsinformationen des aktuellen Videobildes der optischen Kamera, und das Identifizieren des Kontrollbereichs erfolgt unter zusätzlicher Berücksichtigung der ermittelten Helligkeitsinformationen des aktuellen Videobildes und/oder das Verfahren umfasst ein Ermitteln der Bildinformationen aus dem Kontrollbereich unter Berücksichtigung ermittelten Helligkeitsinformationen des aktuellen Videobildes. Durch das Identifizieren des Kontrollbereichs basierend auf den ermittelten Helligkeitsinformationen kann beispielsweise der Kontrollbereich so gewählt werden, dass dieser nur aussagekräftige Bildinformationen enthält. Dadurch kann die Verarbeitung des aktuellen Videobildes der optischen Kamera vereinfacht und somit auch beschleunigt werden. Basierend auf der ermittelten Helligkeitsinformation des aktuellen Videobildes kann beispielsweise die Bildinformationen aus dem Kontrollbereich teilweise gefiltert werden, wenn aufgrund von Lichtmangel oder auch einer Überbelichtung keine unterscheidbaren Bildinhalte vorhanden sind. Die Helligkeiten können durch eine statische Beleuchtung wie auch basierend auf Lichtkegeln von Fahrzeugen, des Ego-Fahrzeugs oder auch von Drittfahrzeugen, entstehen. Das Identifizieren des Kontrollbereichs basierend auf den ermittelten Helligkeitsinformationen des aktuellen Videobildes kann unmittelbar in dem Fahrzeug durchgeführt werden, wodurch bei einer anschließenden Übertragung an den cloudbasierten Freigabeserver die Datenmenge der zu übertragenden Bildinformationen aus dem Kontrollbereich reduziert werden kann. Alternativ kann nach der Übertragung Bildinformationen aus dem Kontrollbereich an den Freigabeserver der Kontrollbereich angepasst werden.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Kompensieren der Bildinformationen aus dem Kontrollbereich und/oder der Referenzbildinformationen aus dem Kontrollbereich für unterschiedliche Wetterbedingungen, insbesondere Bodenfeuchtigkeit, Schnee, oder Hagel. Bodenfeuchtigkeit kann beispielsweise in der Form von lokalen Pfützen auftreten. Darüber hinaus kann ein feuchter Untergrund eine andere Farbe aufweisen als ein trockener Untergrund. So können insbesondere bei einer ungleichmäßigen Befeuchtung des Untergrunds Farbmuster entstehen, die zu Problemen führen können, beispielsweise zu einer falschen Erkennung von Objekten. Entsprechendes gilt für Pfützen. Auch kann eine Farbänderung des Untergrunds insgesamt zu Problemen führen, beispielsweise durch die genannte Befeuchtung oder einen Belag durch Schnee oder Eis. Aufgrund der vielfältigen Arten möglicher, unterschiedlicher Wetterbedingungen und der daraus resultieren Farbänderungen können sich optische Unterschiede zwischen dem aktuellen Videobild und dem Vergleichsbild ergeben, wodurch üblicherweise der automatische Vergleich der empfangenen Bildinformationen mit den Referenzbildinformationen fehleranfällig wird, und Probleme beim Ermitteln der Freigabe entstehen können, .d.h. die Freigabe kann nicht ohne Weiteres erteilt werden. Vorzugsweise wird ein neuronales Netz verwendet, um das Kompensieren der Bildinformationen bzw. der Referenzbildinformationen für unterschiedliche Wetterbedingungen zu lernen und anzuwenden. Das Trainieren kann für die Referenzbildinformationen basierend auf einer Mehrzahl Trainingsdaten, d.h. verschiedenen Bildinformationen als Referenzbildinformationen durchgeführt werden. Das Kompensieren kann allgemein trainiert werden, d.h. unabhängig von einem bestimmten Kontrollbereich, oder für verschiedene Kontrollbereiche jeweils individuell. Das Kompensieren kann für die Bildinformationen aus dem Kontrollbereich unmittelbar in dem Fahrzeug durchgeführt werden, oder es kann im Falle der Übertragung der Bildinformationen an den Freigabeserver nach der Übertragung von dem Freigabeserver durchgeführt oder veranlasst werden. Entsprechendes gilt für die bereitgestellten Referenzbildinformationen aus dem Kontrollbereich, die beispielsweise auf von verschiedenen Fahrzeugen bereitgestellten Bildinformationen basieren können.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Kompensieren der Bildinformationen aus dem Kontrollbereich und/oder der Referenzbildinformationen aus dem Kontrollbereich für Schatten. Schatten können bei Sonnenschein oder allgemein abhängig von einer Beleuchtungssituation an beliebigen Objekten auftreten, wodurch sich eine Farbe des Untergrunds ändert. So können Farbmuster entstehen, die zu Problemen führen können, beispielsweise zu einer falschen Erkennung von Objekten. Aufgrund der vielfältigen möglichen Formen von Schatten und der daraus resultieren Farbänderungen können sich optische Unterschiede zwischen dem aktuellen Videobild und dem Vergleichsbild ergeben, wodurch üblicherweise der automatische Vergleich der empfangenen Bildinformationen mit den Referenzbildinformationen fehleranfällig wird und Probleme beim Ermitteln der Freigabe entstehen können, .d.h. die Freigabe kann nicht ohne Weiteres erteilt werden. Vorzugsweise wird ein neuronales Netz verwendet, um das Kompensieren der Bildinformationen bzw. der Referenzbildinformationen für Schatten zu lernen und anzuwenden. Das Trainieren kann für die Referenzbildinformationen basierend auf einer Mehrzahl Trainingsdaten, d.h. verschiedenen Bildinformationen als Referenzbildinformationen durchgeführt werden. Das Kompensieren kann allgemein trainiert werden, d.h. unabhängig von einem bestimmten Kontrollbereich, oder für verschiedene Kontrollbereiche jeweils individuell. Das Kompensieren kann für die Bildinformationen aus dem Kontrollbereich unmittelbar in dem Fahrzeug durchgeführt werden, oder es kann im Falle der Übertragung der Bildinformationen an den Freigabeserver nach der Übertragung von dem Freigabeserver durchgeführt oder veranlasst werden. Entsprechendes gilt für die bereitgestellten Referenzbildinformationen aus dem Kontrollbereich, die beispielsweise auf von verschiedenen Fahrzeugen bereitgestellten Bildinformationen basieren können. Dabei kann für die Kompensation von Schatten zwischen unbeweglichen Objekten und beweglichen Objekten unterschieden werden. Bei unbeweglichen Objekten wie beispielsweise Gebäuden, Schildern oder Bäumen kann die Kompensation zuverlässig durchgeführt werden, selbst wenn sich die Objekte beispielsweise durch Wind bewegen. Bei beweglichen Objekten wie vorbeigehenden Personen oder überfliegenden Vögeln kann keine Kompensation erforderlich sein, da sich diese Schatten typischerweise in kurzer Zeit aus dem Kontrollbereich bewegen.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Kompensieren der Bildinformationen aus dem Kontrollbereich und/oder der Referenzbildinformationen aus dem Kontrollbereich für Schatten ein zeitabhängiges Kompensieren der Bildinformationen aus dem Kontrollbereich und/oder der Referenzbildinformationen aus dem Kontrollbereich für Schatten. Eine lokale Uhrzeit gibt eine Sonnenstandsinformation an, aus der sich ein zu erwartender Schatten detailliert ermitteln lässt. Dadurch können unterschiedliche Schatten basierend auf denselben Objekten berücksichtigt werden, beispielsweise morgens oder abends. Zusammen mit einem Datum ergibt sich eine präzise Information in Bezug auf den Sonnenstand, beispielsweise auch eine Länge von Schatten. Zusätzlich kann eine Positionsinformation verwendet werden, um die Kompensation für beliebige Positionen des Fahrzeugs durchzuführen und beispielsweise automatisch eine lokale Uhrzeit zu ermitteln.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren Schritte zum Übertragen der Bildinformationen aus dem Kontrollbereich an einen cloudbasierten Freigabeserver, und Übertragen der ermittelten Freigabe zum Bewegen des Fahrzeugs entlang der vorgegebenen Fahrroute von dem cloudbasierten Freigabeserver an das Fahrzeug, und wobei das zuvor aufgenommene Vergleichsbild in dem cloudbasierten Freigabeserver gespeichert ist und das Ermitteln der Freigabe ein Ermitteln der Freigabe in dem cloudbasierten Freigabeserver umfasst. Dieses Verfahren wird entsprechen mit dem cloudbasierten Fahrunterstützungssystem durchgeführt. Das Übertragen von Bildinformationen aus dem Kontrollbereich an den Freigabeserver erfolgt über die Datenverbindung in prinzipiell beliebiger Weise. Um das jeweilige Fahrzeug zuverlässig zu manövrieren, ermöglicht die Datenverbindung vorzugsweise eine Datenübertragung mit einer geringen Latenz. Das Ermitteln der Freigabe ist hier an den cloudbasierten Freigabeserver ausgelagert, so dass Ressourcen davon genutzt werden können. In den Fahrzeugen sind entsprechend geringe Ressourcen vorzuhalten. Insbesondere können in dem cloudbasierten Freigabeserver die Referenzbildinformationen vorteilhaft bereitgestellt werden, da auf diese Weise eine Übertragung der Referenzbildinformationen an das/die Fahrzeug(e) entfallen kann. Es sind lediglich die Bildinformationen aus dem Kontrollbereich des Videobildes zu übertragen, um die Freigabe zu ermitteln. Durch das Übertragen der ermittelten Freigabe zum Bewegen des Fahrzeugs entlang der vorgegebenen Fahrroute von dem Freigabeserver an das Fahrzeug kann dort die entsprechende Freigabe für das Befahren des betrachteten Kontrollbereichs verwendet werden. Durch eine geschickte Auswahl des Kontrollbereichs kann das zu übertragende Datenvolumen klein gehalten werden.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Komprimieren der Bildinformationen aus dem Kontrollbereich vor dem Übertragen der Bildinformationen an den cloudbasierten Freigabeserver und ein Dekomprimieren der Bildinformationen aus dem Kontrollbereich nach dem Übertragen der Bildinformationen an den cloudbasierten Freigabeserver. Durch das Komprimieren der Bildinformationen kann die Datenübertragung über die Datenverbindung weiter reduziert werden. Verschiedene Verfahren zum Komprimieren von Bildinformationen sind als solche bekannt und müssen daher hier nicht im Detail erörtert werden.

In vorteilhafter Ausgestaltung der Erfindung sind die Referenzbildinformationen in einem cloudbasierten Freigabeserver gespeichert und das Verfahren umfasst einen Schritt zum Empfangen der Referenzbildinformationen aus dem Kontrollbereich ausgehend von dem zuvor aufgenommenen Vergleichsbild von dem cloudbasierten Freigabeserver, wobei das Ermitteln der Freigabe ein Ermitteln der Freigabe in dem Fahrzeug umfasst. Die Referenzbildinformationen können also auf dem cloudbasierten Freigabeserver für alle Fahrzeuge zur Verfügung gestellt und von dort an die Fahrzeuge übertragen werden. Die Referenzbildinformation kann „offline“ übertragen werden, d.h. unabhängig von einem aktuellen Manövrieren des Fahrzeugs entlang der vorgegebenen Fahrroute. Alternativ kann die Referenzbildinformation für eine Fahrroute beim Erreichen eines Punkts der Fahrroute übertragen werden. Weiter alternativ kann die Referenzbildinformation für das Ermitteln jeder Freigabe individuell übertragen werden.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen zusätzlichen Schritt zum Anfordern der Übertragung der Referenzbildinformationen aus dem Kontrollbereich ausgehend von dem zuvor aufgenommenen Vergleichsbild von dem cloudbasierten Freigabeserver. Dadurch kann sichergestellt werden, dass nur benötigte Referenzbildinformationen. So kann beispielsweise beim Erreichen des Startpunkts der Fahrroute die Referenzbildinformationen für das Manövrieren des Fahrzeugs entlang der gesamten Fahrroute angefordert werden. Alternativ kann für jede Freigabe jeweils aktuell die entsprechende Referenzbildinformationen von dem cloudbasierten Freigabeserver angefordert werden. Weiterhin können beispielsweise in dem Fahrzeug gespeicherte Referenzinformationen in Bezug auf ihre Aktualität überwacht werden, beispielsweise abhängig von einem Speicherdatum. Wenn die gespeicherte Referenzinformationen nicht mehr aktuell sind, kann eine Anforderung der Übertragung der dieser Referenzbildinformationen an den cloudbasierten Freigabeserver gesendet werden, um die nicht mehr aktuellen Referenzbildinformationen durch aktuelle Referenzbildinformationen zu ersetzen. Wenn die Referenzbildinformationen lokal in dem Fahrzeug gespeichert sind, kann beispielsweise eine Anforderung geschickt werden, wenn beim automatischen Vergleich der Bildinformationen mit den Referenzbildinformationen für den Kontrollbereich die Freigabe nicht erteilt werden kann. Falls aktuellere Referenzbildinformationen vorliegen, kann der Vergleich damit erneut durchgeführt werden.

In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Komprimieren der Referenzbildinformationen aus dem Kontrollbereich vor dem Übertragen der Referenzbildinformationen von dem cloudbasierten Freigabeserver und ein Dekomprimieren der empfangenen Referenzbildinformationen aus dem Kontrollbereich nach dem Empfangen der Referenzbildinformationen von dem cloudbasierten Freigabeserver. Durch das Komprimieren der Referenzbildinformationen kann die Datenübertragung über die Datenverbindung weiter reduziert werden. Verschiedene Verfahren zum Komprimieren von Bildinformationen sind als solche bekannt und müssen daher hier nicht im Detail erörtert werden. Um Speicherplatz zu sparen kann das Dekomprimieren der empfangenen Referenzbildinformationen erst bei Bedarf durchgeführt werden, d.h. die von dem cloudbasierten Freigabeserver empfangenen Referenzbildinformationen werden zunächst im komprimierten Zustand gespeichert.

In vorteilhafter Ausgestaltung der Erfindung ist das Verfahren zum freigabebasierten, selbsttätigen Manövrieren des Fahrzeugs ausgeführt basierend auf einer Steuerung des Fahrzeugs durch einen externen Server, insbesondere zum automatischen Valet Parken Typ 2, einer Steuerung des Fahrzeugs basierend auf einem Verfahren zur visuellen, automatischen Lokalisierung und Kartierung, V-SLAM, oder einer Steuerung des Fahrzeugs basierend auf einem Verfahren zur automatischen Lokalisierung und Kartierung unter Verwendung von wenigstens einem Umgebungssensor zur Erzeugung einer Punktwolke der Umgebung des Fahrzeugs, insbesondere unter Verwendung von wenigstens einem Radarsensor und/oder einem LiDAR-basierten Umgebungssensor. Mit entsprechenden Verfahren können Fahrzeuge bereits in der Praxis selbsttätig entlang von vorgegebenen Fahrrouten manövrieren, so dass eine Erweiterung mit dem Verfahren zum Ermitteln von schrittweisen Freigaben für das Fahrzeug zum selbsttätigen Manövrieren wie auch mit dem Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs mit geringem Aufwand realisiert werden kann. Die Fahrroute bzw. eine entsprechende Trajektorie kann abhängig von dem Verfahren und seiner Ausgestaltung in dem Fahrzeug, konkret dem entsprechenden Fahrunterstützungssystem, oder serverseitig ermittelt werden.

In vorteilhafter Ausgestaltung der Erfindung ist das Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt ausgeführt zum automatischen Valet Parken, oder zum trainierten Parken mit einer zuvor gelernten Trajektorie zum Fahren entlang der Fahrroute. Entsprechende Anwendungen sind für aktuelle Fahrzeuge bereits teilweise im Einsatz, so dass eine Erweiterung mit Funktionen zum Ermitteln von schrittweisen Freigaben für das Fahrzeug zum selbsttätigen Manövrieren wie auch zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs mit geringem Aufwand realisiert werden kann. Die Fahrroute bzw. eine entsprechende Trajektorie kann abhängig von der konkreten Anwendung und ihrer Ausgestaltung in dem Fahrzeug, konkret dem entsprechenden Fahrunterstützungssystem, oder serverseitig ermittelt werden. In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Empfangen einer Position des Fahrzeugs, insbesondere basierend auf dem Empfang von Signalen eines globalen Satellitennavigationssystem, GNSS, und das Verfahren umfasst ein Auswählen einer Fahrroute basierend auf der empfangenen Position des Fahrzeugs. Die Position des Fahrzeugs wird hier nicht zur Navigation genutzt, sondern zur Identifizierung der Fahrroute, um die Freigaben entlang dieser Fahrroute ermitteln zu können. Dadurch können beispielsweise die dazugehörigen Referenzbildinformationen aus einem Speicher in dem Fahrzeug geladen werden, die Referenzbildinformationen können dekomprimiert werden, oder die Referenzbildinformationen für die Fahrroute werden von dem cloudbasierten Freigabeserver, in dem sie gespeichert sind, übertragen und von dem Fahrzeug bzw. dem Fahrunterstützungssystem empfangen. Als globale Satellitennavigationssysteme sind aktuell die Systeme NAVSTAR GPS (Global Positioning System), GLONASS (Globales Satellitennavigationssystem), Galileo und Beidou in Betrieb.

Merkmale wie auch Vorteile des beschriebenen Verfahrens lassen sich ohne Weiteres auf das beschriebene System übertragen und umgekehrt. Auch können einzelne Schritte des Verfahrens in einer an sich beliebigen Reihenfolge durchgeführt werden. Das Verfahren ist nicht auf die beispielhaft beschriebene Abfolge der Verfahrensschritte beschränkt, soweit es sich für den Fachmann offensichtlich aus der Beschreibung ergibt.

Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.

Es zeigt

Fig. 1 eine schematische Ansicht eines cloudbasierten Fahrunterstützungssystems, das hier beispielhaft mit einem Fahrzeug und einem cloudbasierten Freigabeserver dargestellt ist, wobei das Fahrzeug und der cloudbasierte Freigabeserver über eine Datenverbindung miteinander verbunden sind, und wobei das Fahrzeug eine Sensorik mit wenigstens einer optischen Kamera zur Überwachung einer Umgebung in Fahrtrichtung des Fahrzeugs aufweist, gemäß einer ersten, bevorzugten Ausführungsform,

Fig. 2 eine schematische Darstellung der Funktion des cloudbasierten Fahrunterstützungssystems aus Fig. 1 zur Durchführung eines Verfahrens zum selbsttätigen Manövrieren des Fahrzeugs entlang einer vorgegebenen Fahrroute unter Verwendung des cloudbasierten Freigabeservers, mit einer Fahrroute und einem Kontrollbereich,

Fig. 3 eine schematische Darstellung einer Positionsbestimmung des Fahrzeugs aus Fig. 1 basierend auf verschiedenen Arten der Positionsbestimmung,

Fig. 4 eine detaillierte schematische Darstellung einer Positionsbestimmung des Fahrzeugs basierend auf einer visuellen, simultanen Positionsbestimmung und Kartierung anhand von unterschiedlich wahrgenommenen Pixeln,

Fig. 5 eine schematische Darstellung eines Kontrollbereichs in einem beispielhaften, aktuellen Videobild unter Berücksichtigung einer Beleuchtungssituation,

Fig. 6 eine weitere schematische Darstellung eines Kontrollbereichs in einem beispielhaften, aktuellen Videobild unter Berücksichtigung einer Beleuchtungssituation,

Fig. 7 eine detaillierte, schematische Darstellung von einem Effekt unterschiedlicher Wetterbedingungen und daraus resultierender Bodenfeuchtigkeit, die zu einer unterschiedlichen Bodenfärbung führt,

Fig. 8 eine schematische Darstellung von einem Effekt unterschiedlicher Wetterbedingungen und daraus resultierender Bodenfeuchtigkeit, die zu einer unterschiedlichen Bodenfärbungen beim ungleichmäßigen abtrocknen des Bodens führt,

Fig. 9 eine schematische Darstellung von einem Effekt unterschiedlicher Wetterbedingungen und daraus resultierender Pfützenbildung,

Fig. 10 eine schematische Darstellung von einem Effekt von Schattenwurf, der zu unterschiedlicher Bodenfärbung gegenüber einem Bereich ohne Schatten führt,

Fig. 11 eine weitere schematische Darstellung von einem Effekt von Schattenwurf, der zu unterschiedlicher Bodenfärbung gegenüber einem Bereich ohne Schatten führt,

Fig. 12 eine schematische Darstellung einer beispielhaften Umgebung des Fahrzeugs mit einer homogenen, glatten Bodenstruktur,

Fig. 13 eine schematische Darstellung einer beispielhaften Umgebung des Fahrzeugs mit einer grobporigen Bodenstruktur,

Fig. 14 eine schematische Darstellung einer beispielhaften Umgebung des Fahrzeugs mit einer Bodenstruktur mit einer ersten Art einer Bodenpflasterung,

Fig. 15 eine schematische Darstellung einer beispielhaften Umgebung des Fahrzeugs mit einer Bodenstruktur mit einer zweiten Art einer Bodenpflasterung,

Fig. 16 ein Ablaufdiagram eines Verfahrens zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, in Übereinstimmung mit dem cloudbasierten Fahrunterstützungssystem des ersten Ausführungsform aus Fig.1 , Fig. 17 eine schematische Darstellung einer beispielhaften Umgebung des Fahrzeugs mit einer Bodenstruktur mit einer dritten Art einer Bodenpflasterung und einem Pixelflow,

Fig. 18 ein Ablaufdiagram eines Verfahrens einer zweiten Ausführungsform zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt, und

Fig. 19 ein Ablaufdiagram eines Verfahrens einer dritten Ausführungsform zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute von einer aktuellen Fahrzeugposition zu einem Zielpunkt.

Die Figur 1 zeigt ein cloudbasiertes Fahrunterstützungssystem 10 gemäß einer ersten, bevorzugten Ausführungsform.

Das cloudbasierte Fahrunterstützungssystem 10 ist in den Figuren 1 und 2 mit einem Fahrzeug 12 dargestellt, kann jedoch weitere, hier nicht dargestellte Fahrzeuge 12 umfassen. Das cloudbasierte Fahrunterstützungssystem 10 umfasst weiterhin einen cloudbasierten Freigabeserver 14.

Das Fahrzeug 12 umfasst ein Unterstützungssystem 16 zum autonomen Parken des Fahrzeugs 10, bei denen eine Fahrroute 38 vorgegeben ist oder beispielsweise vorab ermittelt wird. Das Unterstützungssystem 16 umfasst einen Steuerungseinheit 18, die das Verfahren durchführt. Das Unterstützungssystem 16 umfasst außerdem eine Sensorik 20, 22 mit einer optischen Kamera 20 und einer Mehrzahl Ultraschallsensoren 22, die an dem jeweiligen Fahrzeug 12 angebracht sind, zur Überwachung einer Umgebung 24 des Fahrzeugs 12. Die optische Kamera 20 ist hinter einer Windschutzscheibe des Fahrzeugs 12 angebracht zur Überwachung der Umgebung 24 in einer Fahrtrichtung 26 vor dem Fahrzeug 12. Die Steuerungseinheit 18 und die Sensorik 20, 22 sind über einen Datenbus 28 miteinander verbunden. Der Datenbus 28 kann beispielsweise nach einem im Automobilbereich üblichen Standard wie CAN, LIN, LON oder FlexRay ausgeführt sein. Das Fahrzeug 12 umfasst eine Kommunikationseinheit 30 zur Kommunikation mit dem cloudbasierten Freigabeserver 14. Der cloudbasierte Freigabeserver 14 umfasst entsprechende Kommunikationsmittel 32 zur Kommunikation mit dem Fahrzeug 12. Entsprechend kann über die Kommunikationseinheit 30 und die Kommunikationsmittel 32 eine Datenverbindung zwischen dem Fahrzeug 12 und dem cloudbasierten Freigabeserver 14 aufgebaut werden. Die Datenverbindung ist eine prinzipiell beliebige Kommunikationsverbindung zwischen Fahrzeug 12 und Freigabeserver 14, die eine dynamische Kombination prinzipiell beliebiger Übertragungsmedien und -Protokolle umfassen kann.

Der cloudbasierte Freigabeserver 14 ist ein an sich beliebiger Server, der über die Datenverbindung mit dem Fahrzeug 12 verbunden ist. Der Freigabeserver 14 umfasst in üblicher weise zusätzlich zu den Kommunikationsmitteln 32 Verarbeitungsmittel 34 und Speichermittel 36. Die Speichermittel 36 speichern ein Programm zur Ausführung durch die Verarbeitungsmittel 34.

Das cloudbasierte Fahrunterstützungssystem 10 ist ausgeführt, das nachstehend beschriebene Verfahren zum cloudbasierten, selbsttätigen Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 von einer aktuellen Fahrzeugposition zu einem Zielpunkt durchzuführen. Das Verfahren basiert auf einem Ermitteln von schrittweisen Freigaben für das Fahrzeug 12 zum selbsttätigen Manövrieren entlang der vorgegebenen Fahrroute 38. Eine solche Fahrroute 38 ist beispielhaft in Figur 2 dargestellt.

Das cloudbasierte Fahrunterstützungssystem 10 führt das Verfahren als trainiertes Parken mit einer zuvor gelernten Trajektorie zum Fahren entlang der Fahrroute 38 durch, wobei die Steuerung des Fahrzeugs 12 allgemein basierend auf einem Verfahren zur visuellen, automatischen Lokalisierung und Kartierung, V-SLAM, durchgeführt wird.

Das Verfahren beginnt in Schritt S100 mit einem Bereitstellen eines aktuellen Videobildes 40 der optischen Kamera 20 an der aktuellen Fahrzeugposition. Ein solches Videobild 40 ist beispielhaft in Figur 2 dargestellt. Das aktuelle Videobild 40 wird hier der optischen Kamera 20 beispielhaft als einzelnes Bild, auch als Frame bekannt, bereitgestellt, das von der optischen Kamera 20 aufgenommen und bereitgestellt wird. Alternativ kann das Videobild 40 ein Bewegtbild basierend auf einer Sequenz von einzelnen Frames sein, d.h. es werden Videosequenzen betrachtet. Das aktuelle Videobild 40 kann in einer beliebigen Weise kodiert sein oder in einem raw-Format vorliegen. Eigenschaften des bereitgestellten aktuellen Videobildes 40 werden durch Eigenschaften der optischen Kamera 20 definiert.

Schritt S110 betrifft ein Identifizieren eines Fahrkorridors 42 in dem aktuellen Videobild 40. Das Identifizieren des Fahrkorridors 42 in dem aktuellen Videobild 40 wird hier als Projektion oder Overlay des Fahrkorridors 42 in das aktuelle Videobild 40 in Figur 2 visualisiert. Der Fahrkorridor 42 ist hier mit seitlichen Begrenzungslinien 44 definiert, zwischen denen die Fahrroute 38 für das Fahrzeug 12 verläuft.

Schritt S120 betrifft ein Ermitteln von Helligkeitsinformationen des aktuellen Videobildes 40 der optischen Kamera 20. Schritt S120 ist optional.

Schritt S130 betrifft ein Identifizieren eines Kontrollbereichs 46 entlang des Fahrkorridors 42 abhängig von der Fahrroute 38 und/oder Fahrparametern des Fahrzeugs 12.

Der Kontrollbereich 46 ist ein Fenster mit Abmessungen und einer Position in Bezug auf die optische Kamera 30 entlang des vorgegebenen Fahrkorridors 38. Beim Fahren des Fahrzeugs 12 bewegt sich der Kontrollbereich 46 entlang des Fahrkorridors 42 mit dem Fahrzeug 12 mit. Der Kontrollbereich 46 ist seitlich zwischen den Begrenzungslinien 44 definiert. Weitere Grenzen des Kontrollbereichs 46 sind hier durch eine vordere und eine hintere Entfernungsgrenze 48 definiert.

Die Position des Kontrollbereichs 46 in dem jeweiligen Videobild 40 ist abhängig von der Fahrroute 38, beispielsweise bei einem geraden Abschnitt der Fahrroute 38 oder einer Kurve. Abmessungen und Position des Kontrollbereichs 46 können abhängig von Fahrparametern des Fahrzeugs 12 angepasst werden. Beispielsweise kann der Kontrollbereich 46 für unterschiedliche Geschwindigkeiten des Fahrzeugs 12 unterschiedlich groß sein. Optional kann abhängig von dem optionalen Schritt S120 das Identifizieren des Kontrollbereichs 46 unter zusätzlicher Berücksichtigung der ermittelten Helligkeitsinformationen des aktuellen Videobildes 40 durchgeführt werden. Durch das zusätzliche Identifizieren des Kontrollbereichs 46 basierend auf den ermittelten Helligkeitsinformationen kann der Kontrollbereich 46 so gewählt werden, dass dieser möglichst aussagekräftige Bildinformationen 54 enthält. In den Figuren 5 und 6 sind aktuelle Videobilder 40 dargestellt, wie sie beim Fahren in einem Parkhaus bereitgestellt werden können. Es ergeben sich jeweils beleuchtete Bereiche 50 und unbeleuchtete Bereiche 52. In Figur 5 ist beispielhaft der Kontrollbereich 46 in dem nicht explizit in Figur 5 dargestellten Fahrkorridor 42 so gewählt, dass er in dem beleuchteten Bereich 50 liegt.

Schritt S140 betrifft ein Ermitteln von Bildinformationen 54 aus dem Kontrollbereich 46 basierend auf einem Fluss von Bildelementen 56, insbesondere Pixeln, basierend auf wenigstens zwei einzelnen Videobildern 40 der optischen Kamera 20.

Das Prinzip ist in Figur 4 dargestellt und beruht darauf, dass unterschiedlich weit entfernte Bildelemente 56 bei einer Positionsänderung des Fahrzeugs 12 unterschiedliche relative Positionsänderungen erfahren. Dazu sind in Figur 4 beispielhaft zwei Bildelemente 56, die zu einem kistenförmigen Objekt 58 bzw. zum Bodenbereich 60 gehören, dargestellt. Zu einem Zeitpunkt t1 liegen die beiden Bildelemente 56 im Blickfeld 62 der optischen Kamera 20 auf einer geraden Linie 64. Das Fahrzeug 12 bewegt sich hier in der Fahrtrichtung 26. Zum Zeitpunkt t2 liegen die beiden Bildelemente 56 mit unterschiedlichen Winkeln im Blickfeld 62 der optischen Kamera 20, so dass sich die Positionen der beiden Bildelemente 56 ermitteln lassen und die beiden Bildelemente 56 unterscheidbar werden.

Optional kann abhängig von dem optionalen Schritt S120 das Ermitteln der Bildinformationen 54 aus dem Kontrollbereich 46 unter zusätzlicher Berücksichtigung der ermittelten Helligkeitsinformationen des aktuellen Videobildes 40 durchgeführt werden.

Somit können beispielsweise innerhalb des Kontrollbereichs 46 Bildpunkte des

Videobildes 40 als Bildinformationen 54 ermittelt werden, wobei die Bildpunkte des Videobildes 40 basierend auf den ermittelten Helligkeitsinformationen des aktuellen Videobildes 40 teilweise gefiltert werden, wenn aufgrund von Lichtmangel oder auch einer Überbelichtung keine unterscheidbaren Bildinhalte vorhanden sind. Die gilt beispielsweise für die unbeleuchteten Bereiche 52 in den in den Figuren 5 und 6 dargestellten aktuellen Videobildern 40.

Schritt S150 betrifft ein Übertragen der Bildinformationen 54 aus dem Kontrollbereich 46 an den Freigabeserver 14.

Vor dem Übertragen der Bildinformationen 54 werden diese komprimiert. Das Übertragen der Bildinformationen 54 aus dem Kontrollbereich 46 an den Freigabeserver 14 erfolgt über die Datenverbindung in prinzipiell beliebiger Weise. Im Anschluss an das Übertragen der Bildinformationen 54 werden diese wieder dekomprimiert. Verschiedene Verfahren zum Komprimieren von Bildinformationen 54 sind als solche bekannt und müssen daher hier nicht im Detail erörtert werden.

Schritt S160 betrifft ein Kompensieren der Bildinformationen 54 aus dem Kontrollbereich 46 und/oder von Referenzbildinformationen 66 aus dem Kontrollbereich 46 für unterschiedliche Wetterbedingungen, insbesondere Bodenfeuchtigkeit, Schnee, oder Hagel. So kann ein feuchter Untergrund 68 eine andere Farbe aufweisen als ein trockener Untergrund 70, wie in Figur 7 dargestellt ist. Entsprechend kann der Bodenbereich 60, wie in Figur 8 dargestellt ist, ein unregelmäßiges Muster mit einem feuchten Untergrund 68 und einem trockenen Untergrund 70 aufweisen.

Bodenfeuchtigkeit kann außerdem in der Form von lokalen Pfützen 72 auftreten, wie in Figur 9 dargestellt ist. Auf dem der Bodenbereich 60 ist ein deutlicher optischer Unterschied zwischen der dort dargestellten Pfütze 72 und dem umgebenden feuchten Untergrund 68 zu erkennen.

Vorzugsweise wird ein neuronales Netz verwendet, um das Kompensieren der Bildinformationen 54 bzw. der Referenzbildinformationen 66 für unterschiedliche Wetterbedingungen zu lernen und anzuwenden. Das Trainieren kann für die Referenzbildinformationen 66 basierend auf einer Mehrzahl Trainingsdaten, d.h. Bildinformationen 54, die an den Freigabeserver 14 übertragen worden sind, durchgeführt werden. Das Kompensieren kann allgemein trainiert werden, d.h. unabhängig von einem bestimmten Kontrollbereich 46. Schritt S170 betrifft ein Kompensieren der Bildinformationen 54 aus dem Kontrollbereich 46 und/oder der Referenzbildinformationen 66 aus dem Kontrollbereich 46 für Schatten 74. Das Kompensieren der Bildinformationen 54 sowie der Referenzbildinformationen 66 für die Schatten 74 wird zeitabhängig durchgeführt, um die Entstehung von unterschiedlichen Schatten 74 zu unterschiedlichen Zeiten zu berücksichtigen. Eine lokale Uhrzeit zusammen mit einem Datum gibt eine Sonnenstandsinformation an, aus der sich ein zu erwartender Schatten 74 in Bezug auf Ausrichtung und Länge ermitteln lässt. Es ergibt sich eine präzise Information in Bezug auf den Sonnenstand, woraus sich der Schatten 74 charakterisieren lässt. Zusätzlich kann eine Positionsinformation verwendet werden, um die Kompensation für beliebige Positionen des Fahrzeugs 12 durchzuführen und beispielsweise automatisch eine lokale Uhrzeit zu ermitteln.

Schatten 74 sind beispielhaft in den Figuren 10 und 11 dargestellt. In Figur 10 sind auf dem Bodenbereich 60 Schatten 74 von Verkehrsschildern zu erkennen, also Schatten 74 von unbeweglichen Objekten, die kompensiert werden sollen. In Figur 11 ist auf dem Bodenbereich 60 ein Schatten 74 einer vorbeigehenden Person zu erkennen, also eines beweglichen Objekts. In diesem Fall kann die Kompensation ausgehend davon, dass sich das bewegliche Objekt voraussichtlich in Kürze aus dem Kontrollbereich 46 bewegt, nicht durchgeführt werden.

Vorzugsweise wird ein neuronales Netz verwendet, um das Kompensieren der Bildinformationen 54 bzw. der Referenzbildinformationen 66 für die Schatten 74 zu lernen und anzuwenden. Das Trainieren kann für die Referenzbildinformationen 66 basierend auf einer Mehrzahl Trainingsdaten, d.h. Bildinformationen 54, die an den Freigabeserver 14 übertragen worden sind, durchgeführt werden. Das Kompensieren kann allgemein trainiert werden, d.h. unabhängig von einem bestimmten Kontrollbereich 46.

Schritt S180 betrifft ein Zusammenpassen der Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46. Dazu wird eine aktuelle Fahrzeugposition des Fahrzeugs 12 bestimmt.

Wie in Figur 3 schematisch dargestellt ist, kann die Position des Fahrzeugs 12 entlang der Fahrroute 38 lediglich mit einer durch ein äußeres Fenster 76 angegebenen Genauigkeit bestimmt werden. Wünschenswert ist eine genauere Bestimmung der Position des Fahrzeugs 12, beispielsweise in dem inneren Fenster 78.

Die Position des Fahrzeugs 12 in dem äußeren Fenster 76 kann beispielsweise mit einer Positionsbestimmung basierend auf empfangenen Satellitenpositionssignalen eines globalen Satellitennavigationssystems erreicht werden, wie sie mit dem Unterstützungssystem 16 zum autonomen Parken des Fahrzeugs 10 durchgeführt wird.

Zur Verbesserung der Positionsbestimmung werden Odometrie-Informationen des Fahrzeugs 12, die von Radumdrehungssensoren 80 an den Rädern des Fahrzeugs 12 bereitgestellt werden, verwendet. Zusätzlich können visuelle Odometrie-Informationen des Fahrzeugs 12 basierend auf einer Bodenstruktur verwendet werden. Verschiedene Bodenstrukturen sind beispielhaft in den Figuren 12 bis 15 dargestellt. Figur zeigt einen Bodenbereich 60, wie er beispielsweise in Fabrikhallen vorkommt, wie anhand der Paletten 88 angedeutet ist. Der Bodenbereich aus Figur 12 ist glatt und weist keine erkennbare Struktur auf. Dies ist bei der Verwendung von Fahrzeugen 12 im üblichen Straßenverkehr üblicherweise nicht zu erwarten. Figur 13 zeigt einen Bodenbereich 60 mit einer grobporigen Bodenstruktur, wie sie beispielsweise bei Asphalt oder ähnlichen Materialien vorkommen kann. Figur 14 zeigt einen Bodenbereich 60 mit einem gleichmäßigen Pflaster, das entsprechend gleichmäßige Fugen 90 in einer zweidimensionalen Anordnung aufweist. Auch die Figur 15 zeigt einen Bodenbereich 60 mit einem Pflaster, das Fugen 90 in einer zweidimensionalen Anordnung aufweist. Die Pflaster der Figuren 14 und 15 sind unterschiedlich, so dass die Fugen 90 unterschiedlich angeordnet sind. Aufgrund typischer Strukturgrößen von beispielsweise Pflastersteinen im Bereich von etwa 10 bis 20 Zentimetern können hohe Genauigkeiten bei der Positionsbestimmung beispielsweise bei dem Pflaster der Figuren 14 und 15 erzielt werden.

Figur 17 stellt zusätzlich eine Pixelflow bei der Betrachtung von Bodenstrukturen dar. Figur 17 zeigt ein Videobild 40 mit einem Bodenbereich 60, der ein Pflaster mit Fugen 90 aufweist. Beim Fahren in Fahrtrichtung 26 bewegen sich einzelne Merkmale in der ebenen Flusslinien 92, d.h. die Merkmale nähern sich in Pfeilrichtung an die optische Kamera 20 an. Bei einer Störung beispielsweise durch ein Hindernis ergibt sich eine abweichende Bewegung 94 wie in Figur 17 entsprechend angedeutet ist. Die Odometrie-Informationen des Fahrzeugs 12 werden ebenfalls an den cloudbasierten Freigabeserver 14 übertragen.

Der cloudbasierte Freigabeserver 14 umfasst außerdem eine Recheneinheit 82, die eine visuelle, simultane Positionsbestimmung und Kartierung durchführt. Die visuelle, simultane Positionsbestimmung und Kartierung ist unter dem englischen Begriff Visual Simultaneous Localization and Mapping (V-SLAM) bekannt und basiert auf einer Positionsbestimmung ausgehend von zeitlich versetzten Bildern, wodurch eine Positionsänderung des Fahrzeugs 12 ermittelt werden kann. Dazu werden die Videobilder 40 nach dem Empfang in dem cloudbasierten Freigabeserver 14 in einem Eingangsdatenstation 84 erfasst und mit einem Vorfilter gefiltert. Anschließend erfolgt eine Verarbeitung durch die Recheneinheit 82.

Darüber hinaus kombiniert die Recheneinheit 82 die Positionsinformationen der Positionsbestimmung basierend auf empfangenen Satellitenpositionssignalen eines globalen Satellitennavigationssystems und basierend auf den Odometrie-Informationen des Fahrzeugs 12 sowie den visuellen Odometrie-Informationen des Fahrzeugs 12.

Schritt S190 betrifft ein Ermitteln einer Freigabe basierend auf einem automatischen Vergleich der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 mit Referenzbildinformationen 66 aus dem Kontrollbereich 46. Die Bildinformationen 54 und die Referenzbildinformationen 66 betreffen dieselbe Position, nämlich den aktuell betrachteten Kontrollbereich 46. Die Referenzbildinformationen 66 wurden ausgehend von einem zuvor aufgenommenen Vergleichsbild ermittelt und in dem Freigabeserver 14 gespeichert. Vorzugsweise basiert die Referenzbildinformationen 66 auf mehreren zuvor aufgenommenen Vergleichsbildern, wenn also das Fahrzeug 12 oder auch ein anderes Fahrzeug 12 Bildinformationen 54 für den entsprechenden Kontrollbereich 46 an den Freigabeserver 14 übertragen hatte und keine Hindernisse ermittelt wurden.

Die Referenzbildinformationen 66 enthält somit Bildinformation 54, für die bereits festgestellt wurde, dass das Fahrzeug 12 in dem Fahrkorridor 42 in Richtung zu dem Kontrollbereich 46 und/oder in den Kontrollbereich 46 hineinfahren kann. Die Referenzbildinformationen 66 stellen den Kontrollbereich 46 also ohne Hindernisse dar. Bei einer Abweichung der empfangenen Bildinformationen 54 von den Referenzbildinformationen 66 kann von einem Vorhandensein eines Hindernisses ausgegangen werden. Andernfalls ist kein Hindernis vorhanden. Unterschiede zwischen den Bildinformation 54 und den Referenzbildinformationen 66 führen also dazu, dass keine Freigabe erteilt wird.

In dem Fall erfolgt gemäß Schritt S200, also bei einer negativen Freigabe, eine Übertragung der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 und der Referenzbildinformationen 66 aus dem Kontrollbereich 46 an einen Operator, der eine Freigabe ermittelt. Es erfolgt somit eine manuelle Freigabe.

Wenn die Freigabe in Schritt S190 erteilt wird, wird Schritt S200 übersprungen.

Schritt S210 betrifft ein Anpassen der Referenzbildinformationen 66 basierend auf den empfangenen Bildinformationen 54 bei einer positiven Freigabe durch den Operator. Wenn also die Freigabe durch den Operator erfolgt, kann die Referenzbildinformationen 66 so angepasst werden, dass in dem betrachteten Kontrollbereich 46 bei einem erneuten Vergleich derselben Bildinformationen 54 und Referenzbildinformationen 66 die Freigabe vorzugsweise bereits automatisch erfolgen kann. Vorzugsweise erfolgt das Anpassen der Referenzbildinformationen 66 basierend auf einem maschinellen Lernprozess.

Schritt S210 kann unabhängig von Schritt S200 durchgeführt werden, d.h. auch wenn die Freigabe basierend auf dem automatischen Vergleich der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46 gemäß Schritt S190 erfolgt, kann ein Anpassen der Referenzbildinformationen 66 basierend auf den empfangenen Bildinformationen 54 durchgeführt werden.

Schritt S220 betrifft ein Übertragen der Freigabe zum Bewegen des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 von dem Freigabeserver 14 an das Fahrzeug 12. Die Freigabe wird über die Datenverbindung von dem Freigabeserver 14 an das Fahrzeug 12 übertragen. Das Übertragen der Freigabe stellt eine Freigabe für das Befahren des betrachteten Kontrollbereichs 46 dar.

Schritt S230 betrifft ein Manövrieren des Fahrzeugs 12 entlang der vorgegebenen

Fahrroute 38 gemäß der empfangenen Freigabe. Das Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 wird gemäß der empfangenen Freigabe als autonomes Fahren des Fahrzeugs 12 durchgeführt. Das Fahrzeug 12 führt dabei eine Quer- und Längssteuerung durch zum Folgen der vorgegebenen Fahrroute 38, wodurch es zunächst in Richtung zu dem Kontrollbereich 46 und im Anschluss in den Kontrollbereich 46 hineinfährt.

Das cloudbasierte, selbsttätige Manövrieren betrifft ein zumindest teilweise autonomes Bewegen des Fahrzeugs 12. Dazu kann die Fahrroute 38 vorgegeben sein, beispielsweise durch ein Abfahren der Fahrroute 38 von einem menschlichen Fahrzeugführer, wodurch die Fahrroute 38 gelernt werden kann. Die vorgegebene Fahrroute 38 verbindet die aktuelle Fahrzeugposition und den Zielpunkt. Die vorgegebene Fahrroute 38 gibt einen Streckenverlauf für das Erreichen der Zielposition an.

Durch das iterative Durchführen des Verfahrens kann eine kontinuierliche Überprüfung des Fahrkorridors 42 erfolgen, und das Fahrzeug 12 kann selbsttätig entlang des Fahrkorridors 42 manövrieren. Bereiche des Fahrkorridors 42, die sich möglicherweise zwischen dem Fahrzeug 12 und dem Kontrollbereich 46 befinden, wurden bereits vorab als Kontrollbereich 46 betrachtet und freigegeben.

Dabei kann die empfangene Freigabe beispielsweise bei aktuellen Level 2 Anwendungen, die eine Überwachung durch den Fahrzeugführer erfordern, die eine Bestätigung der Überwachung durch den Fahrzeugführer ersetzen.

Vor dem ersten Durchführen des Verfahrens müssen die Referenzbildinformationen 66 erzeugt und in den Speichermitteln 36 des cloudbasierten Freigabeservers 14 gespeichert werden. Dies kann im Rahmen eines Abfahrens der Fahrroute 38 zum Lernen der Fahrroute 38, insbesondere als Trajektorie, erfolgen. Die Trajektorie umfasst zusätzlich zu der Fahrroute 38 Bewegungsinformation für das Manövrieren, z.B. Geschwindigkeiten oder Beschleunigungen. In Anlehnung an das oben beschrieben Verfahren werden Videobilder 40 der optischen Kamera 20 entlang der abgefahrenen Fahrroute 38 bereitgestellt, und Bildinformationen 54 aus einem jeweiligen Kontrollbereich 46 entlang eines Fahrkorridors 42 werden als Referenzbildinformationen 66 aus dem Kontrollbereich 46 in dem Freigabeserver 14 gespeichert. Als Bildinformationen 54 kann ein Ausschnitt der Videobilder 40 als Vergleichsbilder an den Freigabeserver 14 übertragen werden. Das Abfahren der Fahrroute 38 und damit das Lernen der Fahrroute 38 kann mit einem beliebigen Fahrzeug 12 durchgeführt werden.

Figur 18 betrifft eine zweite Ausführungsform mit einem Fahrzeug 12, das ein in Figur 18 dargestelltes Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs 12 entlang einer vorgegebenen Fahrroute 38 von einer aktuellen Fahrzeugposition zu einem Zielpunkt durchführt. Das Verfahren umfasst ein Verfahren zum Ermitteln von schrittweisen Freigaben zum selbsttätigen Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38.

Das Verfahren wird von einem Fahrunterstützungssystem 10 ausgeführt. Das Fahrunterstützungssystem 10 ist in dieser Ausführungsform in dem Fahrzeug installiert. Eine Verarbeitung von Bildinformationen 54 und der automatische Vergleich der Bildinformationen 54 mit den Referenzbildinformationen 66 in dem Kontrollbereich erfolgt lokal in dem Fahrunterstützungssystem 10. Die Referenzbildinformationen 66 sind in dem Fahrzeug 10 gespeichert.

Das Fahrunterstützungssystem 10 der zweiten Ausführungsform ist nicht separat dargestellt, ähnelt jedoch dem der ersten Ausführungsform, weshalb es nachstehend unter Bezug auf die erste Ausführungsform beschrieben wird, wobei die Beschreibung auf Unterschiede der beiden Fahrunterstützungssystem 10 fokussiert.

Das Fahrunterstützungssystem 10 ist in dem Fahrzeug 12 installiert und umfasst ein Unterstützungssystem 16 zum autonomen Parken des Fahrzeugs 10, bei denen eine Fahrroute 38 vorgegeben ist oder beispielsweise vorab ermittelt wird. Das Unterstützungssystem 16 umfasst einen Steuerungseinheit 18, die das Verfahren durchführt. Das Unterstützungssystem 16 umfasst außerdem eine Sensorik 20, 22 mit einer optischen Kamera 20 und einer Mehrzahl Ultraschallsensoren 22, die an dem jeweiligen Fahrzeug 12 angebracht sind, zur Überwachung einer Umgebung 24 des Fahrzeugs 12. Die optische Kamera 20 ist hinter einer Windschutzscheibe des Fahrzeugs 12 angebracht zur Überwachung der Umgebung 24 in einer Fahrtrichtung 26 vor dem Fahrzeug 12. Die Steuerungseinheit 18 und die Sensorik 20, 22 sind über einen Datenbus 28 miteinander verbunden. Der Datenbus 28 kann beispielsweise nach einem im Automobilbereich üblichen Standard wie CAN, LIN, LON oder FlexRay ausgeführt sein. Das Fahrunterstützungssystem 10 ist ausgeführt, das nachstehend beschriebene Verfahren zum freigabebasierten, selbsttätigen Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 von einer aktuellen Fahrzeugposition zu einem Zielpunkt durchzuführen. Eine solche Fahrroute 38 ist beispielhaft in Figur 2 dargestellt.

Das Verfahren beginnt in Schritt S300 mit einem Bereitstellen eines aktuellen Videobildes 40 der optischen Kamera 20 an der aktuellen Fahrzeugposition. Es gelten die obigen Ausführungen zur ersten Ausführungsform mit dem dortigen Schritt S100.

Schritt S310 betrifft ein Ermitteln von Helligkeitsinformationen des aktuellen Videobildes 40 der optischen Kamera 20. Schritt S310 entspricht dem obigen Schritt S120 und ist auch hier optional.

Schritt S320 betrifft ein Identifizieren eines Kontrollbereichs 46 entlang des Fahrkorridors 42 abhängig von der Fahrroute 38 und/oder Fahrparametern des Fahrzeugs 12. Auch hier gelten die obigen Ausführungen zum entsprechenden Schritt S130 der ersten Ausführungsform.

Schritt S330 betrifft ein Ermitteln von Bildinformationen 54 aus dem Kontrollbereich 46 basierend auf einem Fluss von Bildelementen 56, insbesondere Pixeln, basierend auf wenigstens zwei einzelnen Videobildern 40 der optischen Kamera 20. Schritt S330 entspricht dem entsprechenden Schritt S140 der ersten Ausführungsform.

Schritt S340 betrifft ein Kompensieren der Bildinformationen 54 aus dem Kontrollbereich 46 und/oder von Referenzbildinformationen 66 aus dem Kontrollbereich 46 für unterschiedliche Wetterbedingungen, insbesondere Bodenfeuchtigkeit, Schnee, oder Hagel.

Schritt S350 betrifft ein Kompensieren der Bildinformationen 54 aus dem Kontrollbereich 46 und/oder der Referenzbildinformationen 66 aus dem Kontrollbereich 46 für Schatten 74.

In Bezug auf das Kompensieren der Schritte S340 und S350 gelten die obigen Ausführungen zu den Schritten S160 und S170 entsprechend. Schritt S360 betrifft ein Zusammenpassen der Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46. Dazu wird eine aktuelle Fahrzeugposition des Fahrzeugs 12 bestimmt. Es wird auf die obigen Ausführungen zu dem dortigen Schritt S180 verwiesen.

Schritt S370 betrifft ein Ermitteln einer Freigabe basierend auf einem automatischen Vergleich der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 mit Referenzbildinformationen 66 aus dem Kontrollbereich 46. In dieser Ausführungsform wird der Vergleich von der Steuerungseinheit 18 in dem Fahrzeug 12 durchgeführt. Im Übrigen wird die Freigabe wie in dem korrespondierenden Schritt S190 beschrieben ermittelt.

Wenn keine Freigabe erteilt wird, erfolgt in Schritt S380 eine Übertragung der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 und der Referenzbildinformationen 66 aus dem Kontrollbereich 46 an einen Operator, der eine Freigabe ermittelt. Es erfolgt somit eine manuelle Freigabe. In dieser Ausführungsform werden die Bildinformationen 54 aus dem Kontrollbereich 46 und der Referenzbildinformationen 66 aus dem Kontrollbereich 46 an eine Benutzerschnittstelle des Fahrzeugs 12 übertragen für einen Insassen des Fahrzeugs 12 als Operator. Der Operator kann über die Benutzerschnittstelle die Freigabe prüfen und erteilen.

Wenn die Freigabe in Schritt S370 erteilt wird, wird Schritt S380 übersprungen.

Schritt S390 betrifft ein Anpassen der Referenzbildinformationen 66 basierend auf den Bildinformationen 54 bei einer Freigabe durch den Operator. Hier wird in Übereinstimmung mit dem obigen Schritt S210 die in dem Fahrzeug gespeicherte Referenzbildinformationen 66 so angepasst, dass in dem betrachteten Kontrollbereich 46 bei einem erneuten Vergleich derselben Bildinformationen 54 und Referenzbildinformationen 66 die Freigabe vorzugsweise bereits automatisch erfolgen kann. Vorzugsweise erfolgt auch hier das Anpassen der Referenzbildinformationen 66 basierend auf einem maschinellen Lernprozess.

Schritt S390 kann unabhängig von Schritt S380 durchgeführt werden, d.h. auch wenn bereits die Freigabe basierend auf dem automatischen Vergleich der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46 gemäß Schritt S190 erfolgt, kann ein zusätzliches Anpassen der Referenzbildinformationen 66 basierend auf den Bildinformationen 54 durchgeführt werden.

Schritt S400 betrifft ein Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 gemäß der Freigabe. Es gelten die obigen Ausführungen in Bezug auf den entsprechenden Schritt 230.

Durch das iterative Durchführen des Verfahrens kann eine kontinuierliche Freigabe erfolgen, und das Fahrzeug 12 kann selbsttätig entlang der Fahrroute 38 manövrieren. Bereiche vor dem Fahrzeug 12 werden jeweils vorab als Kontrollbereiche 46 betrachtet und freigegeben.

Vor dem ersten Durchführen des Verfahrens müssen die Referenzbildinformationen 66 erzeugt und in den Fahrzeug 12 gespeichert werden. Dies kann im Rahmen eines Abfahrens der Fahrroute 38 zum Lernen der Fahrroute 38, insbesondere als Trajektorie, erfolgen. Die Trajektorie umfasst zusätzlich zu der Fahrroute 38 Bewegungsinformation für das Manövrieren, z.B. Geschwindigkeiten oder Beschleunigungen. In Anlehnung an das oben beschrieben Verfahren werden Videobilder 40 der optischen Kamera 20 entlang der abgefahrenen Fahrroute 38 bereitgestellt, und Bildinformationen 54 aus einem jeweiligen Kontrollbereich 46 entlang eines Fahrkorridors 42 werden als Referenzbildinformationen 66 aus dem Kontrollbereich 46 gespeichert.

Figur 19 betrifft eine dritte Ausführungsform mit einem cloudbasierten Fahrunterstützungssystem 10, das ein in Figur 18 dargestelltes Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs 12 entlang einer vorgegebenen Fahrroute 38 von einer aktuellen Fahrzeugposition zu einem Zielpunkt durchführt. Das Verfahren umfasst ein Verfahren zum Ermitteln von schrittweisen Freigaben zum selbsttätigen Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38.

Das cloudbasiertes Fahrunterstützungssystem 10 zur Durchführung des Verfahrens der dritten Ausführungsform entspricht dem der ersten Ausführungsform, weshalb auf weitergehende Ausführungen dazu verzichtet wird, Das cloudbasierte Fahrunterstützungssystem 10 der dritten Ausführungsform ist ausgeführt, das nachstehend beschriebene Verfahren der dritten Ausführungsform zum cloudbasierten, selbsttätigen Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 von einer aktuellen Fahrzeugposition zu einem Zielpunkt durchzuführen. Das Verfahren basiert auf einem Ermitteln von schrittweisen Freigaben für das Fahrzeug 12 zum selbsttätigen Manövrieren entlang der vorgegebenen Fahrroute 38 und entspricht in weiten Teilen dem Verfahren der ersten Ausführungsform, weshalb die Beschreibung auf Unterschiede der beiden Verfahren fokussiert.

Das Verfahren der dritten Ausführungsform beginnt in Schritt S500 mit einem Bereitstellen eines aktuellen Videobildes 40 der optischen Kamera 20 an der aktuellen Fahrzeugposition. Es gelten die obigen Ausführungen zur ersten Ausführungsform mit dem dortigen Schritt S100.

Schritt S510 betrifft ein Identifizieren eines Fahrkorridors 42 in dem aktuellen Videobild 40. Es gelten die obigen Ausführungen zum entsprechenden Schritt S110 der ersten Ausführungsform.

Schritt S520 betrifft ein Identifizieren eines Kontrollbereichs 46 entlang des Fahrkorridors 42 abhängig von der Fahrroute 38 und/oder Fahrparametern des Fahrzeugs 12.

In dieser Ausführungsform erfolgt das Identifizieren des Kontrollbereichs 46 ohne Berücksichtigung von Helligkeitsinformationen des aktuellen Videobildes 40. Im Übrigen gelten die obigen Ausführungen zum entsprechenden Schritt S130 der ersten Ausführungsform.

Schritt S530 betrifft ein Ermitteln von Bildinformationen 54 aus dem Kontrollbereich 46 basierend auf einem Fluss von Bildelementen 56, insbesondere Pixeln, basierend auf wenigstens zwei einzelnen Videobildern 40 der optischen Kamera 20. Schritt S530 entspricht dem entsprechenden Schritt S140 des Verfahrens der ersten Ausführungsform. Schritt S540 betrifft ein Anfordern der Übertragung von Referenzbildinformationen 66 aus dem Kontrollbereich 46 ausgehend von einem zuvor aufgenommenen Vergleichsbild von dem cloudbasierten Freigabeserver 14. Von dem Unterstützungssystem 16 des Fahrzeugs 12 wird über die Kommunikationseinheit 30 des Fahrzeugs eine entsprechende Nachricht über die Datenverbindung an den Freigabeserver 14 gesendet mit der Anforderung der Referenzbildinformationen 66 für den Kontrollbereich 46. Die angeforderten Referenzbildinformationen 66 sind in dem cloudbasierten Freigabeserver 14 gespeichert.

Schritt S550 betrifft ein Empfangen der Referenzbildinformationen 66 aus dem Kontrollbereich 46 von dem Freigabeserver 14. Gemäß der Anforderung in Schritt S540 werden die Referenzbildinformationen 66 für den Kontrollbereich 46 des zuvor aufgenommenen Vergleichsbilds von dem cloudbasierten Freigabeserver 14 an das Fahrzeug 12 übertragen.

Dazu werden die Referenzbildinformationen 66 aus dem Kontrollbereich 46 vor dem Übertragen von dem cloudbasierten Freigabeserver 14 komprimiert und nach dem Empfangen in dem Fahrzeug 12 von der Steuerungseinheit 18 dekomprimiert.

Schritt S560 betrifft ein Zusammenpassen der Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46. Dazu wird eine aktuelle Fahrzeugposition des Fahrzeugs 12 bestimmt. Es wird auf die obigen Ausführungen zu dem dortigen Schritt S180 verwiesen.

Schritt S570 betrifft ein Ermitteln einer Freigabe basierend auf einem automatischen Vergleich der Bildinformationen 54 aus dem Kontrollbereich 46 mit den empfangenen Referenzbildinformationen 66 aus dem Kontrollbereich 46. Die Bildinformationen 54 und die Referenzbildinformationen 66 betreffen dieselbe Position, nämlich den aktuell betrachteten Kontrollbereich 46. In dieser Ausführungsform wird der Vergleich von der Steuerungseinheit 18 in dem Fahrzeug 12 durchgeführt. Im Übrigen wird die Freigabe wie in dem korrespondierenden Schritt S190 beschrieben ermittelt.

Wenn keine Freigabe erteilt wird, erfolgt in Schritt S580 eine Übertragung der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 und der Referenzbildinformationen 66 aus dem Kontrollbereich 46 an einen Operator, der eine Freigabe ermittelt. Es erfolgt somit eine manuelle Freigabe. In dieser Ausführungsform werden die Bildinformationen 54 aus dem Kontrollbereich 46 über die Datenverbindung an den cloudbasierten Freigabeserver 14 übertragen, und von dort zusammen mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46, die unmittelbar aus den Speichermitteln 36 entnommen werden, an einen remote verbundenen Operator übertragen, der eine Freigabe ermittelt.

Wenn die Freigabe in Schritt S570 erteilt wird, wird Schritt S580 übersprungen.

Schritt S590 betrifft ein Anpassen der Referenzbildinformationen 66 basierend auf den empfangenen Bildinformationen 54 bei einer positiven Freigabe durch den Operator. Es gelten die obigen Ausführungen zu Schritt S210 entsprechend.

Schritt S590 kann unabhängig von Schritt S580 durchgeführt werden, d.h. auch wenn bereits die Freigabe basierend auf dem automatischen Vergleich der empfangenen Bildinformationen 54 aus dem Kontrollbereich 46 mit den Referenzbildinformationen 66 aus dem Kontrollbereich 46 gemäß Schritt S190 erfolgt, kann ein zusätzliches Anpassen der Referenzbildinformationen 66 basierend auf den Bildinformationen 54 durchgeführt werden, indem die jeweiligen Bildinformationen 54 an den cloudbasierten Freigabeserver 14 übertragen werden.

Schritt S600 betrifft ein Manövrieren des Fahrzeugs 12 entlang der vorgegebenen Fahrroute 38 gemäß der empfangenen Freigabe. Es gelten die obigen Ausführungen in Bezug auf den entsprechenden Schritt 230.

Im Übrigen gelten auch hier die Ausführungen in Bezug auf die erste Ausführungsform zum Erzeugen und Speichern der Referenzbildinformationen 66 in den Speichermitteln 36 des cloudbasierten Freigabeservers 14. Bezugszeichenliste

10 cloudbasiertes Fahrunterstützungssystem

12 Fahrzeug

14 cloudbasierter Freigabeserver

16 Unterstützungssystem

18 Steuerungseinheit

20 optische Kamera, Sensorik

22 Ultraschallsensor, Sensorik

24 Umgebung

26 Fahrtrichtung

28 Datenbus

30 Kommunikationseinheit

32 Kommunikationsmittel

34 Verarbeitungsmittel

36 Speichermittel

38 Fahrroute

40 Videobild

42 Fahrkorridor

44 Begrenzungslinie

46 Kontrollbereich

48 Entfernungsgrenze

50 beleuchteter Bereich

52 unbeleuchteter Bereich

54 Bildinformationen

56 Bildelement, Pixel

58 kistenförmiges Objekt

60 Bodenbereich

62 Blickfeld

64 gerade Linie

66 Referenzbildinformationen

68 feuchter Untergrund

70 trockener Untergrund

72 Pfütze

74 Schatten äußeres Fenster inneres Fenster Radumdrehungssensor, Odometrie-Sensor Recheneinheit Eingangsdatenstation Vorfilter Palette Fuge ebene Flusslinie abweichende Bewegung

Claims

Patentansprüche

1. Verfahren zum Ermitteln von schrittweisen Freigaben für ein Fahrzeug (12) zum selbsttätigen Manövrieren entlang einer vorgegebenen Fahrroute (38) von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug (12) eine Sensorik (20, 22) mit wenigstens einer optischen Kamera (20) zur Überwachung einer Umgebung (24) in Fahrtrichtung (26) des Fahrzeugs (12) aufweist, umfassend die Schritte

Bereitstellen eines aktuellen Videobildes (40) der optischen Kamera (20) an der aktuellen Fahrzeugposition,

Ermitteln der Freigabe zum selbsttätigen Manövrieren des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) basierend auf einem automatischen Vergleich von Bildinformationen (54) aus einem Kontrollbereich (46) des Videobildes (40) mit Referenzbildinformationen (66) aus dem Kontrollbereich (46) ausgehend von einem zuvor aufgenommenen Vergleichsbild, und

Ausgeben der ermittelten Freigabe zum selbsttätigen Manövrieren des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) für einen Schritt, der mit dem aktuellen Videobild (40) korrespondiert.

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Verfahren einen Schritt zum Zusammenpassen der Bildinformationen (54) aus dem Kontrollbereich (46) mit den Referenzbildinformationen (66) aus dem Kontrollbereich (46) umfasst.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Zusammenpassen der Bildinformationen (54) aus dem Kontrollbereich (46) mit den Referenzbildinformationen (66) aus dem Kontrollbereich (46) ein Bestimmen einer aktuellen Fahrzeugposition umfasst.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Bestimmen einer aktuellen Fahrzeugposition ein Bestimmen der aktuellen Fahrzeugposition umfasst basierend auf einem Empfangen von Signalen von einem Satellitennavigationssystem, insbesondere unter Verwendung eines Differential Global Positioning Systems, und/oder einem Bereitstellen von Odometrie-Informationen des Fahrzeugs (12), und/oder einem Erkennen von Landmarken entlang der vorgegebenen Fahrroute (38) des Fahrzeugs (12), und/oder einem Bestimmen der aktuellen Fahrzeugposition mit einem System zur visuellen, simultanen Positionsbestimmung und Kartierung.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Bereitstellen von Odometrie-Informationen des Fahrzeugs (12) umfasst ein Bereitstellen von visuellen Odometrie-Informationen des Fahrzeugs (12), insbesondere basierend auf einer Bodenstruktur und/oder ein Bereitstellen von Sensorsignalen von wenigstens einem Odometrie- Sensor (80) des Fahrzeugs (12).

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer mangelnden Freigabe das Verfahren einen Schritt zum Übertragen der Bildinformationen (54) aus dem Kontrollbereich (46) und der Referenzbildinformationen (66) aus dem Kontrollbereich (46) an einen Operator zum Ermitteln der Freigabe umfasst.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Verfahren bei einer Freigabe durch den Operator ein Anpassen der Referenzbildinformationen (66) basierend auf den Bildinformationen (54) aus dem Kontrollbereich (46) umfasst.

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren einen Schritt zum Abfahren der Fahrroute (38) zum Lernen der Fahrroute (38), insbesondere als Trajektorie, aufweist, umfassend Bereitstellen von Videobildern (40) der optischen Kamera (20) entlang der abgefahrenen Fahrroute (38), und

Speichern von Bildinformationen (54) aus dem Kontrollbereich (46) als Referenzbildinformationen (66) aus dem Kontrollbereich (46) oder zumindest eines Ausschnitts der Videobilder (40) als Vergleichsbilder.

9. Verfahren nach dem vorhergehenden Anspruch 8, dadurch gekennzeichnet, dass das Verfahren ein Übertragen der Bildinformationen (54) aus dem

Kontrollbereich (46) als Referenzbildinformationen (66) aus dem Kontrollbereich (46) oder zumindest eines Ausschnitts der Videobilder (40) als Vergleichsbilder an einen cloudbasierten Freigabeserver (14) umfasst.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ein Ermitteln der Bildinformationen (54) aus dem Kontrollbereich (46) basierend auf einem Fluss von Bildelementen (56), insbesondere Pixeln, basierend auf wenigstens zwei einzelnen Videobildern (40) der optischen Kamera (20) umfasst.

11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren Schritte umfasst zum

Identifizieren eines Fahrkorridors (42) in dem aktuellen Videobild (40), und zum

Identifizieren des Kontrollbereichs (46) entlang des Fahrkorridors (42), insbesondere in dem Fahrkorridor (42), abhängig von der Fahrroute (38) und/oder Fahrparametern des Fahrzeugs (12).

12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ein Ermitteln von Helligkeitsinformationen des aktuellen Videobildes (40) der optischen Kamera (20) umfasst, und das Identifizieren des Kontrollbereichs (46) unter zusätzlicher Berücksichtigung der ermittelten Helligkeitsinformationen des aktuellen Videobildes (40) erfolgt und/oder das Verfahren ein Ermitteln der Bildinformationen (54) aus dem Kontrollbereich (46) unter Berücksichtigung ermittelten Helligkeitsinformationen des aktuellen Videobildes (40) umfasst.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ein Kompensieren der Bildinformationen (54) aus dem Kontrollbereich (46) und/oder der Referenzbildinformationen (66) aus dem Kontrollbereich (46) für unterschiedliche Wetterbedingungen, insbesondere Bodenfeuchtigkeit, Schnee, oder Hagel, umfasst.

14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ein Kompensieren der Bildinformationen (54) aus dem Kontrollbereich (46) und/oder der Referenzbildinformationen (66) aus dem Kontrollbereich (46) für Schatten (74) umfasst.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass das Kompensieren der Bildinformationen (54) aus dem Kontrollbereich (46) und/oder der Referenzbildinformationen (66) aus dem Kontrollbereich (46) für Schatten (74) ein zeitabhängiges Kompensieren der Bildinformationen (54) aus dem Kontrollbereich (46) und/oder der Referenzbildinformationen (66) aus dem Kontrollbereich (46) für Schatten (74) umfasst.

16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren Schritte umfasst zum

Übertragen der Bildinformationen (54) aus dem Kontrollbereich (46) an einen cloudbasierten Freigabeserver (14), und Übertragen der ermittelten Freigabe zum Bewegen des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) von dem cloudbasierten Freigabeserver (14) an das Fahrzeug (12), und wobei das zuvor aufgenommene Vergleichsbild in dem cloudbasierten Freigabeserver (14) gespeichert ist und das Ermitteln der Freigabe ein Ermitteln der Freigabe in dem cloudbasierten Freigabeserver (14) umfasst.

17. Verfahren nach dem vorhergehenden Anspruch 16, dadurch gekennzeichnet, dass das Verfahren ein Komprimieren der Bildinformationen (54) aus dem Kontrollbereich (46) vor dem Übertragen der Bildinformationen (54) an den cloudbasierten Freigabeserver (14) und ein Dekomprimieren der übertragenen Bildinformationen (54) aus dem Kontrollbereich (46) nach dem Übertragen der Bildinformationen (54) an den cloudbasierten Freigabeserver (14) umfasst.

18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das die Referenzbildinformationen (66) in einem cloudbasierten Freigabeserver (14) gespeichert sind und das Verfahren einen Schritt umfasst zum

Empfangen der Referenzbildinformationen (66) aus dem Kontrollbereich (46) ausgehend von dem zuvor aufgenommenen Vergleichsbild von dem cloudbasierten Freigabeserver (14), wobei das Ermitteln der Freigabe ein Ermitteln der Freigabe in dem Fahrzeug (12) umfasst.

19. Verfahren nach dem vorhergehenden Anspruch 18, dadurch gekennzeichnet, dass das Verfahren einen zusätzlichen Schritt zum Anfordern der Übertragung der Referenzbildinformationen (66) aus dem Kontrollbereich (46) ausgehend von dem zuvor aufgenommenen Vergleichsbild von dem cloudbasierten Freigabeserver (14).

20. Verfahren nach einem der vorhergehenden Ansprüche 18 oder 19, dadurch gekennzeichnet, dass das Verfahren ein Komprimieren der Referenzbildinformationen (66) aus dem Kontrollbereich (46) vor dem Übertragen der Referenzbildinformationen (66) von dem cloudbasierten Freigabeserver (14) und ein Dekomprimieren der empfangenen Referenzbildinformationen (66) aus dem Kontrollbereich (46) nach dem Empfangen der Referenzbildinformationen (66) von dem cloudbasierten Freigabeserver (14) umfasst.

21 . Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs (12) entlang einer vorgegebenen Fahrroute (38) von einer aktuellen Fahrzeugposition zu einem Zielpunkt, wobei das Fahrzeug (12) eine Sensorik (20, 22) mit wenigstens einer optischen Kamera (20) zur Überwachung einer Umgebung (24) in Fahrtrichtung (26) des Fahrzeugs (12) aufweist, wobei das Verfahren ein Ermitteln von schrittweisen Freigaben zum selbsttätigen Manövrieren des Fahrzeugs (12) entlang der vorgegebenen Fahrroute (38) mit dem Verfahren nach einem der vorhergehenden Ansprüche 1 bis 20 umfasst.

22. Verfahren nach dem vorhergehenden Anspruch 21 , dadurch gekennzeichnet, dass das Verfahren zum freigabebasierten, selbsttätigen Manövrieren des Fahrzeugs (12) ausgeführt ist basierend auf einer Steuerung des Fahrzeugs (12) durch einen externen Server, insbesondere zum automatischen Valet Parken Typ 2, einer Steuerung des Fahrzeugs (12) basierend auf einem Verfahren zur visuellen, automatischen Lokalisierung und Kartierung, V-SLAM, oder einer Steuerung des Fahrzeugs (12) basierend auf einem Verfahren zur automatischen Lokalisierung und Kartierung unter Verwendung von wenigstens einem Umgebungssensor zur Erzeugung einer Punktwolke der Umgebung des Fahrzeugs, insbesondere unter Verwendung von wenigstens einem Radarsensor und/oder einem LiDAR-basierten Umgebungssensor.

23. Verfahren nach einem der vorhergehenden Ansprüche 21 oder 22, dadurch gekennzeichnet, dass das Verfahren zum freigabebasierten, selbsttätigen Manövrieren eines Fahrzeugs (12) entlang einer vorgegebenen Fahrroute (38) von einer aktuellen Fahrzeugposition zu einem Zielpunkt ausgeführt ist zum automatischen Valet Parken, oder zum trainierten Parken mit einer zuvor gelernten Trajektorie zum Fahren entlang der Fahrroute (38).

24. Verfahren nach einem der vorhergehenden Ansprüche 21 bis 23, dadurch gekennzeichnet, dass das Verfahren ein Empfangen einer Position des Fahrzeugs (12) umfasst, insbesondere basierend auf dem Empfang von Signalen eines globalen Satellitennavigationssystem, GNSS, und das Verfahren ein Auswählen einer Fahrroute basierend auf der empfangenen Position des Fahrzeugs (12) umfasst.

25. Fahrunterstützungssystem (10) für ein Fahrzeug (12), wobei das Fahrunterstützungssystem (10) ausgeführt ist, das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 20 durchzuführen.

26. Cloudbasiertes Fahrunterstützungssystem (10) mit wenigstens einem Fahrzeug (12) und einem cloudbasierten Freigabeserver (14), wobei das wenigstens eine Fahrzeug (12) und der cloudbasierte Freigabeserver (14) über eine Datenverbindung miteinander verbunden sind, und das cloudbasierte Fahrunterstützungssystem (10) ausgeführt ist, das Verfahren nach einem der vorhergehenden Ansprüche 1 bis 20 durchzuführen.