DE102020107108A1

DE102020107108A1 - Verfahren und System zum autonomen Fahren eines Fahrzeugs

Info

Publication number: DE102020107108A1
Application number: DE102020107108.6A
Authority: DE
Inventors: Stefan Jenzowsky
Original assignee: Kopernikus Automotive GmbH
Current assignee: KOPERNIKUS AUTOMOTIVE GMBH, DE
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2021-09-16
Also published as: EP3882733A1; JP2021149968A; EP3882733B1; PL3882733T3; US20210284193A1; CN113401116A; CA3112095A1; ES2932553T3; DK3882733T3

Abstract

Die Erfindung betrifft ein Verfahren zum ferngesteuerten autonomen Fahren eines Fahrzeugs (201) mit den folgenden Verfahrensschritten:Erfassen des Fahrzeugs (201) mit Hilfe von wenigstens einem in einer Umgebung des Fahrzeugs (201) angeordneten Sensor, insbesondere Kamera,Ermitteln einer Bewegungsbahn für das Fahrzeug (201) mittels einer fahrzeugexternen Verarbeitungseinrichtung (501),Übermitteln der Bewegungsbahn und/oder von Steuerbefehlen betreffend die Bewegungsbahn an das Fahrzeug (201), undUmsetzen der Bewegungsbahn und/oder der Steuerbefehle im Fahrzeug (201), um das Fahrzeug (201) gemäß der Bewegungsbahn zu bewegen.

Description

Einige Ausführungen beziehen sich auf ein Verfahren und System zur Steuerung eines autonomen Fahrzeugs (z.B. eines serienmäßigen PKW) in Automatic Valet Parking-Anwendungen, deren Fahrtkontrolle und Fahrplanung durch ein externes Kontrollsystem mittels einer Künstlichen Intelligenz vorgenommen wird, die das Fahrzeug über externe Sensoren, insbesondere Kamerasensoren, überwacht und kontrolliert.
Stand der Technik
Der Vorgang des Parkens eines Fahrzeugs wird heute durch verschiedene Assistenzsysteme unterstützt, z.B. durch Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs bei einem Parkvorgang (siehe u.a. die Offenlegungsschriften DE102008027692A1 , DE102012008858A1 , WO2011154242A1 ). Weiterhin wird die Parkplatzerkennung z.B. durch Laserscanner ermöglicht (siehe u.a. die Offenlegungsschrift DE102016120433A1 ).
Weltweit wurden Verfahren entwickelt, die u.a. zur vollständigen selbständigen Steuerung eines Fahrzeugs geeignet sind (siehe u.a. die Offenlegungsschriften DE102005029336A1 und DE102013003683A1 sowie US9701305B2 ). Diese Verfahren benötigen jedoch in der Regel eine große Zahl an Sensoren am oder im Fahrzeug selbst (z.B. Laserscanner oder Radarscanner oder Kameras) - sowie häufig eine große Rechenkapazität am oder im Fahrzeug selbst.
Automobile werden heute unter großem Kostendruck konzipiert und gefertigt, so dass im heutigen Serienautomobilen eine derartig große Menge an Rechenleistung und/oder Sensoren nicht zur Verfügung steht, was die Anwendbarkeit der vorgenannten Verfahren häufig nicht möglich macht. Daher kommt dem Automatic Valet Parking auf Basis externer Sensoren und externer Datenverarbeitungsanlagen besondere Bedeutung zu.
DE 10 2009 051 463 B4 offenbart ein Kraftfahrzeug, eine externe Steuervorrichtung sowie ein Verfahren zum Durchführen eines Ausparkvorgangs eines Kraftfahrzeugs.
Automatic Valet Parking
Bei einem vollautomatisierten (autonomen) sogenannten Valet Parking wird ein Fahrzeug (z.B. ein Automobil, ein LKW, ein Bus, ein Gabelstapler) von seinem Fahrer auf einer Abgabestelle (zum Beispiel vor einem Parkhaus) geparkt und von dort fährt das Fahrzeug in eine Parkposition und/oder kehrt auf Anforderung wieder zur Abgabestelle zurück. Mehrere Offenlegungsschriften (u.a. DE 102012222562A1 sowie WO2016128203A1 ) zeigen solche Systeme zur Überführung eines Fahrzeugs von einer Startposition in eine Zielposition.
Solche Systeme umfassen eine außerhalb des Fahrzeugs angeordnete zentrale Recheneinheit zur Berechnung einer Trajektorie, die im Rahmen dieser Anmeldung auch als Bewegungsbahn bezeichnet wird, entlang derer sich das Fahrzeug mit einer Fahrzeuggeschwindigkeit autonom von der Startposition in die Zielposition bewegt und eine Übertragungseinrichtung zur Übertragung der Trajektorie an das Fahrzeug. Durch die fahrzeugexterne Recheneinheit wird das Fahrzeug ferngesteuert gefahren. Diese Systeme können ausschließlich oder teilweise auf fahrzeugexternen Sensoren basieren und auf einer fahrzeugexternen Recheneinheit eine Trajektorie berechnen, die dann mittels eines Übertragungsmediums (z.B. W-LAN oder Mobilfunk) an das Fahrzeug übertragen wird.
Defizite von Automatic Valet Parking Verfahren
Solche Automatic Valet Parking-Lösungen weisen aber auch erhebliche Defizite auf, die ihrer Verbreitung entgegenwirken oder eine Verbreitung verhindern:

Die Anbringung und Nutzung von Umfeldsensoren für Automatic Valet Parking-Verfahren hat hohe Kosten zur Folge. Denn in den bisher bekannten Ausführungen müssen neuartige und teure Sensoren (z.B. Laserscanner) außerhalb des Fahrzeugs im gesamten Parkbereich verbaut werden.

Die Umfeldsensorik für bekannte Automatic Valet Parking Verfahren umfassen in den bisher bekannten Ausführungen mehrere Umfeldsensoren, mit denen ein Parkplatz ausgestattet werden muss. Solche bekannten Umfeldsensoren sind: Lidarsensoren, Ultraschallsensoren, Lasersensoren, und/oder Radarsensoren.
Diese Sensoren müssen angeschafft, montiert, kalibriert, gewartet und regelmäßig funktionsgeprüft werden, um ein sicheres automatisiertes Parken zu ermöglichen.
Offenbarung der Erfindung
Die der Erfindung zugrundeliegende Aufgabe ist ein sicheres und effizientes autonomes Fahren eines Kraftfahrzeugs in einer vorgebbaren Umgebung, wie beispielsweise einem Parkplatz, Parkhaus, einer Industrieanlage, oder ähnlichen Arealen anzugeben. Insbesondere soll ein effizientes Verfahren und System zum Errichten und Betreiben von Automatic Valet Parking Verfahren bereitgestellt werden, welches die bekannten Nachteile überwindet. Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst.
Gelöst wird diese Aufgabe durch ein Verfahren zum ferngesteuerten autonomen Fahren eines Fahrzeugs mit den folgenden Verfahrensschritten:

- Erfassen des Fahrzeugs mit Hilfe von wenigstens einem in einer Umgebung des Fahrzeugs angeordneten Sensor, insbesondere Kamera,
- Ermitteln einer Bewegungsbahn für das Fahrzeug mittels einer fahrzeugexternen Verarbeitungseinrichtung,
- Übermitteln der Bewegungsbahn und/oder von Steuerbefehlen betreffend die Bewegungsbahn an das Fahrzeug, und
- Umsetzen der Bewegungsbahn und/oder der Steuerbefehle im Fahrzeug, um das Fahrzeug gemäß der Bewegungsbahn zu bewegen.

Vorzugsweise erfolgt zum Erfassen des Fahrzeugs eine eindeutige Identifikation, wobei das Fahrzeug Lichtsignale abgibt, die durch den wenigstens einen Sensor erfasst werden und in der Verarbeitungseinrichtung verarbeitet werden. Die Lichtsignale können hierbei codiert sein und bspw. durch variierendes oder periodischen Betätigen des Blinklichts und/oder des Bremslichts und/oder des Abblendlichts erzeugt werden. Jedem Fahrzeug kann von der Verarbeitungseinrichtung ein bestimmtes Lichtsignal zugeordnet werden, so dass eine eineindeutige Zuordnung zu jedem Fahrzeug möglich ist.
Vorzugsweise wird eine Pose des Fahrzeugs mittels der wenigstens einen Kamera, insbesondere mehrerer Kameras, durch die Verarbeitungseinrichtung ermittelt, wobei insbesondere eine Projektion der Pose auf eine Umgebungskarte erfolgt.
Vorzugsweise werden mittels der wenigstens einen Kamera aufgenommenen Bilder oder Filmsequenzen in der Verarbeitungseinrichtung eine Bilderkennung mittels Bildvergleich und/oder, insbesondere trainierter, neuronaler Netze Objekte, insbesondere andere Fahrzeuge oder Lebewesen, in der Umgebung des Fahrzeugs erkannt, wobei insbesondere die Bewegungsbahn und/oder Steuerbefehle, die an das Fahrzeug übermittelt werden, angepasst werden.
Vorzugsweise werden mehrere Kameras verwendet, wobei insbesondere durch Positionieren von Testkörpern, die von wenigstens zwei Kameras erfasst werden, die Kameras, insbesondere automatisch, kalibriert und/oder auf einer Umgebungskarte positioniert werden.
Vorzugsweise werden zusätzlich Signale wenigstens eines fahrzeuginternen Sensors verwendet wird, um das Fahrzeug zu steuern.
Insbesondere werden die Bewegungsbahn und/oder Steuerbefehle betreffend die Bewegungsbahn periodisch, insbesondere an den Takt des fahrzeuginternen Bussystems angepasst übermittelt.
Vorzugsweise wird das Verfahren zur Ermittlung der Bewegungsbahn automatisch durchgeführt.
Die Aufgabe wird ferner gelöst durch ein System zum ferngesteuerten autonomen Fahren eines Fahrzeugs, insbesondere in einer vorgebbaren oder vorgegeben Umgebung, umfassend eine Mehrzahl von fahrzeugexternen Kameras, die ausgebildet sind, Kamerabilder oder Videos wenigstens eines Teils der Umgebung zu erfassen, und eine fahrzeugexterne Verarbeitungseinrichtung, die ausgebildet ist, die Kamerabilder oder Videos zu verarbeiten, wobei die Verarbeitungsvorrichtung ferner dazu eingerichtet ist, wenigstens ein Fahrzeug anhand der Kamerabilder oder Videos zu erkennen und eine Bewegungsbahn für das Fahrzeug zu bestimmen, wobei ferner das System eine Übertragungsvorrichtung umfasst, die ausgebildet ist, die Bewegungsbahn und/oder Steuerbefehle betreffend die Bewegungsbahn an das Fahrzeug zu übermitteln.
Vorzugsweise ist das System eingerichtet ist, das Fahrzeug von einer Startposition automatisch und/oder autonom zu einer Zielposition zu führen.
Vorzugsweise findet eine eindeutige Identifikation eines oder mehrerer Fahrzeuge über eine Abgabe von Lichtsignalen des oder der Fahrzeuge statt.
Vorzugsweise ist mittels der Kamerabilder und/oder Videos eine Pose des oder der Fahrzeuge ermittelbar, wobei die Pose insbesondere auf einer Umgebungskarte darstellbar ist.
Insbesondere umfasst das System ein Edge Computingsystem, das eingerichtet ist, nur diejenigen Kamerabilder oder Videos, auf denen das oder die Fahrzeuge oder andere Objekte, die für die Bewegungsbahn relevant sind, insbesondere vorverarbeitet, an die Verarbeitungseinrichtung weiterzuleiten oder weiterzugeben.
Es ist vorzugsweise vorgesehen, dass das System, insbesondere trainierte oder vortrainierte, neuronale Netze und/oder Methoden des Deep Learning und/oder des Reinforcement Learning, insbesondere im Sinne eines Convolutional Neuronal Network, verwendet und/oder anwendet. Hierzu sei verwiesen auf T. Chen, S. Komblith, M. Norouzi, G. Hinton „A Simple Framework for Contrastive Learning of Visual Representations“, 2020, https.://arxiv.org/pdf/2002.05079.pdf
Insbesondere ist eine deterministische Überwachungsvorrichtung vorgesehen, die insbesondere ausgebildet ist, Komponenten des Systems, insbesondere Kameras, die Verarbeitungseinrichtung und/oder das Edge Computingsystem, auf Funktionsfähigkeit zu überprüfen.
Nach einem Aspekt wird ein neuartiges Verfahren zum Betreiben eines Fahrzeugs bereitgestellt, wobei das Fahrzeug mittels einer fahrzeugexternen Verarbeitungseinrichtung autonom auf einem Parkplatz von einer Startposition zu einer Zielposition fährt, die auf bereits existierender Sensorik basiert. Nach noch einem Aspekt wird ein Fahrzeug bereitgestellt, welches eingerichtet ist, das Verfahren durchzuführen. Gemäß einem weiteren Aspekt wird ein Computerprogramm bereitgestellt, welches Programmcode und/oder trainierte neuronale Netze zur Durchführung des Verfahrens zum Betreiben eines Fahrzeugs umfasst, wenn das Computerprogramm auf einem Computer ausgeführt wird.
Es wird insbesondere der technische Vorteil bewirkt, dass das Fahrzeug autonom in einem Parkhaus oder auf einem Parkplatz parken kann, welches/r nicht mehr kostenintensiv und technisch aufwändig nachgerüstet werden muss. Insbesondere kann das Fahrzeug u.a. durch eine auf bereits existierenden Überwachungskameras basierenden Sensorik sicher bewegt werden.
Ein weiterer technischer Vorteil ist, dass das Fahrzeug keine weitere Ausrüstung durch Recheneinheiten oder Sensorik benötigt.
Ein Parkplatz im Sinne der vorliegenden Erfindung kann auch als eine Parkfläche bezeichnet werden und dient als Abstellfläche für Fahrzeuge. Der Parkplatz kann nach einer Ausführungsform von einem Parkhaus umfasst sein. Autonom im Sinne der vorliegenden Erfindung bedeutet insbesondere, dass das Fahrzeug ohne einen Eingriff eines Fahrers mittels eines ferngesteuerten Eingriffs auf dem Parkplatz navigiert oder fährt.
Ein Fahrzeug im Sinne der vorliegenden Erfindung ist z.B. ein Automobil, ein LKW, ein Bus, ein Gabelstapler, ein People Mover, ein Roboter, ö.ä.. Die vorliegende Erfindung bezieht sich auch auf mehrere Fahrzeuge oder eine Kombination verschiedener Fahrzeuge.
Ausführungsformen

1. In einer Ausführungsform ist vorgesehen, dass das geparkte Fahrzeug mittels der fahrzeugexternen Verarbeitungseinrichtung aus der Parkposition ausparkt, mittels der fahrzeugexternen Verarbeitungseinrichtung von der Parkposition zurück zur Startposition mittels der fahrzeugexternen Verarbeitungseinrichtung oder zu einer weiteren Zielposition autonom fährt und sich dort mittels der fahrzeugexternen Verarbeitungseinrichtung autonom abstellt. Die weitere Zielposition kann eine Servicestation sein, an welcher eine Dienstleistung am Fahrzeug durchgeführt wird. Zum Beispiel kann das Fahrzeug an der Servicestation betankt (auch elektrisch), gewaschen, inspiziert, gewartet oder repariert werden.
2. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das Fahrzeug mittels der fahrzeugexterner Kamerasensorik und Verarbeitungseinrichtung eindeutig identifiziert wird. Unter einer kamerasensorik wird im Rahmen dieser Anmeldung auch eine Kamera verstanden.
3. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass das die Pose (Ort und Fahrtrichtung) des Fahrzeugs mittels der fahrzeugexternen Kamerasensorik und einer externen Verarbeitungseinrichtung zweifelsfrei identifiziert wird.
4. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass Objekte (z.B. auf der Parkfläche oder im Fahrbereich) mittels der fahrzeugexterner Kamerasensorik und einer externen Verarbeitungseinrichtung erkannt und identifiziert werden, so dass sie z.B. umfahren werden können.
5. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass die fahrzeugexterne Kamerasensorik und Verarbeitungseinrichtung automatisch eingerichtet und kalibriert wird. Dies geschieht durch ein automatisches Verfahren und System und die Ausbringung von Testkörpern auf die zu beobachtende Fläche. Die Kameras werden hierbei beispielsweise durch Bildverarbeitung und Triangulation kalibriert.
6. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass bestehende fahrzeugexterne Kamerasensorik (z.B. bereits bestehende Überwachungskameras und herkömmliche Umfeldsensorik (wie Lidarsensoren, Ultraschallsensoren, Lasersensoren, oder Radarsensoren) automatisch kombiniert werden.
7. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass die fahrzeugexterne Verarbeitungseinrichtung selbstlernend ausgeführt wird.
8. Gemäß einer weiteren Ausführungsform ist vorgesehen, dass fahrzeugexterne Kamerasensorik mit fahrzeuginternen Sensoren (z.B. Raddrehzahlsensoren) automatisch kombiniert werden.

Ausführungsbeispiele
Weitere Merkmale der Erfindung werden aus der Beschreibung erfindungsgemäßer Ausführungsformen zusammen mit den Ansprüchen und den beigefügten Zeichnungen ersichtlich. Erfindungsgemäße Ausführungsformen können einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllen.
Im Rahmen der Erfindung sind Merkmale, die mit „insbesondere“ oder „vorzugsweise“ gekennzeichnet sind, als fakultative Merkmale zu verstehen.
Ein Aspekt sieht ein Verfahren und/oder System zum ferngesteuerten autonomen Fahren eines Fahrzeugs gemäß 1 vor.
Es ist vorgesehen, dass das geparkte Fahrzeug mittels der fahrzeugexternen Verarbeitungseinrichtung aus der Parkposition ausparkt, mittels der fahrzeugexternen Verarbeitungseinrichtung von der Parkposition zurück zur Startposition oder mittels der fahrzeugexternen Verarbeitungseinrichtung oder zu einer weiteren Zielposition autonom fährt und sich dort mittels der fahrzeugexternen Verarbeitungseinrichtung autonom abstellt. Die weitere Zielposition kann eine Servicestation sein, an welcher eine Dienstleistung am Fahrzeug durchgeführt wird. Zum Beispiel kann das Fahrzeug an der Servicestation betankt (auch elektrisch), gewaschen, inspiziert, gewartet oder repariert werden.
Ein weiterer Aspekt ist ein Verfahren und/oder System zur eindeutigen Identifikation des Fahrzeugs mittels fahrzeugexterner Kamerasensorik und Verarbeitungseinrichtung durch Blinkmuster und weitere Lichtzeichen oder eine Abfolge derer.
Ein Aspekt ist ein Verfahren und/oder System zur Ermittlung der Pose (Ort und Fahrtrichtung) des Fahrzeugs ausschließlich aus Kamerabi-Idern mittels fahrzeugexterner Kamerasensorik in einer externen Verarbeitungseinrichtung und Projektion dieser Pose des Fahrzeugs auf eine Karte.
Ein weiterer Aspekt ist ein Verfahren und/oder System zur Erkennung von Objekten (z.B. auf der Parkfläche oder im Fahrbereich) mittels fahrzeugexterner Kamerasensorik in einer externen Verarbeitungseinrichtung durch Bildvergleich und trainierte neuronale Netze.
Ein Aspekt ist ein Verfahren und/oder System zum automatischen Kalibrieren und/oder Positionieren auf einer Karte der fahrzeugexternen Kamerasensorik durch Testkörper, die gleichzeitig von verschiedenen Kamerasensoren oder Kameras erfasst werden.
Ein Aspekt ist ein Verfahren und/oder System zum automatischen Kombinieren fahrzeugexterner Kamerasensorik weiterer Umfeldsensorik (wie Lidarsensoren, Ultraschallsensoren, Lasersensoren, oder Radarsensoren).
Ein Aspekt ist ein Verfahren und/oder System zur automatischen Kombination von fahrzeugexterner Kamerasensorik mit fahrzeuginternen Sensoren (z.B. Raddrehzahlsensoren).
Ein Aspekt ist eine automatisch selbstlernende fahrzeugexterne Verarbeitungseinrichtung durch den Einsatz von Neuronalen Netzen und Methoden des Deep Learning und/oder des Reinforcement Learning im Sinne eines Convolutional Neuronal Network.
Ein Aspekt ist ein Verfahren und/oder System zur fahrzeugexternen Berechnung und Steuerung in einem nicht ortsfesten Datenverarbeitungssystem in einer Cloud-Anwendung.
Ein Aspekt ist ein Verfahren und/oder System mit Kontrollsystem oder einer deterministischen Überwachungsvorrichtung, welches eingerichtet ist, das Verfahren zur Ermittlung einer Trajektorie automatisch durchzuführen.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:

Ein Ablauf des Verfahrens zum Betreiben eines Fahrzeugs mittels einer fahrzeugexternen Verarbeitungseinrichtung, die als künstliche Intelligenz ausgebildet ist, sieht vor, dass das Fahrzeug ferngesteuert fährt.

Es ist vorgesehen, dass das Fahrzeug von einer fahrzeugexternen Verarbeitungseinrichtung empfangene Trajektorien und Fahrbefehle umsetzt und autonom auf einem Parkplatz von einer Startposition zu einer Zielposition fährt.
Nach einer Ausführungsform ist die Startposition eine Abgabeposition, an welcher das Fahrzeug von seinem Fahrer abgestellt werden kann, damit das Fahrzeug anschließend einen autonomen Parkvorgang durchführen kann.
Nach einer Ausführungsform ist die Zielposition eine Parkposition, an welcher das Fahrzeug einparken wird.
Nach einer anderen Ausführungsform ist vorgesehen, dass die Startposition eine Parkposition ist und die Zielposition eine Abholposition, an welcher ein Fahrer sein Fahrzeug nach einem Ende eines autonomen Parkvorgangs abholen kann.
Nach einer Ausführungsform sind die Abgabeposition und die Abholposition verschieden. Nach einer weiteren Ausführungsform sind die Abholposition und die Abgabeposition identisch.
Nach einer Ausführungsform ist vorgesehen, dass das Fahrzeug mittels einer fahrzeugexternen Verarbeitungseinrichtung von der Startposition zu einer Zielposition und von dort zu einer weiteren Zielposition oder zurück zu der Startposition fährt. Die weitere Zielposition ist insbesondere eine Abholposition.
Nach einer Ausführungsform ist vorgesehen, dass das Fahrzeug mittels einer fahrzeugexternen Verarbeitungseinrichtung von der Startposition zu einer Parkposition autonom fährt, dort unterstützungsfrei autonom einparkt, zeitlich später mittels einer fahrzeugexternen Verarbeitungseinrichtung autonom ausparkt und unterstützungsfrei zurück zur Startposition autonom fährt.
Nach einer Ausführungsform ist vorgesehen, dass das Fahrzeug basierend auf einer digitalen Karte des Parkplatzes mittels einer fahrzeugexternen Verarbeitungseinrichtung autonom auf dem Parkplatz fährt.
In einer Ausführungsform ist vorgesehen, dass ein Fahrzeug eingerichtet ist, empfangene Trajektorien und Fahrbefehle umzusetzen.
Nach einer Ausführungsform umfasst das Fahrzeug 201 ein Fahrzeug mit serienmäßiger Ausstattung zur elektrischen Aktuatorik an Lenkung, Antrieb und Bremse (z.B. durch E-Fahrpedal oder Drive-by-Wire Funktionalität, E-Bremse, Abstandstempomat, Einparkassistent o.ä.) sowie einem Empfangsmodul (z.B. W-Lan oder Mobilfunk). Mittels einer fahrzeugexternen Verarbeitungseinrichtung basierend auf den Umfelddaten und der Karte des Parkplatzes wird eine Solltrajektorie, die das Fahrzeug mittels der Steuerungseinrichtung abfahren soll, an das Fahrzeug übermittelt.
Nach einer Ausführungsform ist das Fahrzeug 201 in der Lage, die von einer fahrzeugexternen Verarbeitungseinrichtung empfangenen Fahrbefehle und Trajektorien mit den internen Sensoren (z.B. Raddrehwinkelsensor, Raddrehzahlsensor) zu vergleichen und/oder zu fusionieren.
1 zeigt:

• ein Fahrzeug 201, welches eingerichtet ist, empfangene Trajektorien und Fahrbefehle umzusetzen.
• Überwachungskameras 301, die geeignet sind, einen Videostream (z.B. als RTSP) an das Gesamtsystem zu übermitteln.
• Edgesystem 401, welches eingerichtet ist, Computerprogramme (z.B. trainierte neuronale Netze) zur Objekterkennung zu verwenden.
• Kontrollsystem, das auch als Verarbeitungseinheit bezeichnet wird, 501, welches eingerichtet ist, das Verfahren zur Ermittlung einer Trajektorie durchzuführen sowie jedem gefahrenen Fahrzeug ein eindeutiges visuelles Muster zuzuordnen.
• Network Management-Einheit, die auch als deterministische Überwachungsvorrichtung bezeichnet wird, 601, welche eingerichtet ist, das Gesamtsystem zu überwachen, Fehlerkorrekturen durchzuführen und mit weiteren Systemen (z.B. Parkhaussysteme, Notfallsysteme, Fahrzeugproduktionssysteme) zu kommunizieren sowie Notfallmaßnahmen (wie z.B. Notstop oder eine teilweise oder vollständige Systemabschaltung) durchzuführen.
• Kommunikationseinheit 701, 702, 703, 704 welches eingerichtet ist, Trajektorien und Fahrbefehle an das Fahrzeug zu übermitteln.
• Anforderungseinheit 801, 802, welches eingerichtet ist, das Fahrzeug 201 anzufordern und/oder das Verfahren zu starten und/oder zu beenden und dies an das Fahrzeug 201 zu übermitteln.

Das Edge-System 401 bzw. die Edge Nodes erkennen, vorzugsweise mit Unterstützung der Verarbeitungseinrichtung 501, ob ein Fahrzeug 201 im Blickfeld einer Kamera 301 oder mehrerer Kameras 301 ist. Mittels des Edge-Systems 401 werden somit Daten der Kameras 301 ausgewählt und an die Verarbeitungseinheit 501 weitergeleitet, die das Fahrzeug 201 im Blick haben. Zudem kann das Edge-System 401 dazu dienen, andere Gegenstände oder Lebewesen, die neu in das Blickfeld einer Kamera 301 gelangen, zu erkennen und diese Information an die Verarbeitungseinrichtung 501 weiterzugeben. Das Edge-System 401 kann als künstliche Intelligenz trainiert sein auf verschiedene Objektarten, wodurch unterschiedliche Reaktionen erzielt werden können. Wird beispielsweise ein Kind in der Nähe des autonom fahrenden Fahrzeugs (201) gesichtet, kann ein Notstopp des Fahrzeugs 201 eingeleitet werden. Sollte ein nicht lebendes Objekt entdeckt werden, kann vorgesehen sein, die Geschwindigkeit zu drosseln oder das Fahrzeug in eine andere Richtung zu lenken oder eine andere Trajektorie bzw. Bewegungsbahn zu fahren. Die entsprechenden Bewegungsbahnen bzw. Trajektorien werden über die Kommunikationseinheiten, hier ausgebildet als Wifi-Sender und/oder Empfänger (WLAN) 701, 702 oder 703 an das Fahrzeug 201 über die Kommunikationseinheit 704 drahtlos gesendet. Das Fahrzeug 201 kann selbst über WLAN drahtlos Sensorsignale dem erfindungsgemäßen System bzw. Verarbeitungseinrichtung 501 oder der Überwachungsvorrichtung 601 zukommen lassen. Hierdurch kann überprüft werden, ob das Fahrzeug 201 tatsächlich die Steuerbefehle ausführt und die Bewegungsbahn bzw. die Trajektorie auch einhält. Diese Überprüfung kann auch durch Bildverarbeitung der durch die Kameras 301 aufgenommenen Bilder durchgeführt werden.
Durch Verwendung des Edge-Systems 401 werden der Verarbeitungseinrichtung 501 nur relevante Bilder und/oder Videos und/oder Informationen übermittelt, um die Auslastung der fahrzeugexternen Verarbeitungseinrichtung 501 zu minimieren. Das Fahrzeug 201 kann mit einem Smartphone oder einem Tablet 801 oder einem Laptop beispielsweise auch über WLAN angefordert werden. Genauso kann über diese Anforderungseinheiten 801, 802 definiert werden, wohin das jeweilige Fahrzeug 201 autonom gefahren werden soll.
Die Überwachungsvorrichtung 601 prüft, ob alle relevanten Kameras 301 funktionsfähig sind. Zudem prüft die Überwachungsvorrichtung 601, ob alle systemrelevanten Elemente funktionsfähig sind. Zudem überprüft diese Überwachungsvorrichtung 601 ohne künstliche Intelligenz, also deterministisch, ob Veränderungen in einem Bild auftreten, die von der Verarbeitungseinrichtung 501 nicht erkannt werden. Für den Fall, dass sich eine Diskrepanz zwischen dem Ergebnis der Überwachungsvorrichtung 601 und der Verarbeitungseinrichtung 501 ergibt, wird der Fahrbereich des Fahrzeugs 201 blockiert. Es handelt sich bei der Überwachungsvorrichtung 601 somit um ein deterministisches Sicherheits- und Rückfallsystem.
Die Bewegungsbahn bzw. Trajektorie kann ein Vektor sein, der als Werte eine Geschwindigkeit, einen Lenkwinkel und beispielsweise die Dauer des Beibehaltens dieser Steuerparameter aufweist. Die Bewegungsbahn bzw. Trajektorie ist auf dem CAN-Bus des Fahrzeugs 201 angepasst und kann bei einem mit 25 Hz getakteten CAN-Bus beispielsweise jede 25tel Sekunde geändert werden. In dieser Taktfrequenz können Bewegungsbahnen bzw. Trajektorien übermitteln werden.
Andere Fahrzeuge und Objekte werden in der externen Verarbeitungseinrichtung erkannt und klassifiziert. In einer Ausführungsform ist vorgesehen, dass das Fahrzeug autonom anhält oder stoppt, wenn notwendig, oder dass es einen Ausweichkurs um die Fahrzeuge und/oder die Objekte berechnet und diesen durch die externe Verarbeitungseinrichtung unterstützt abfährt.
Zur eindeutigen Identifikation der Fahrzeuge mittels externer Kamerasensoren und einer externen Verrechnungseinheit wird jedem Fahrzeug ein individueller Blinkcode zugeordnet. Hierbei wird jedem der gleichzeitig auf der Parkfläche bewegten Fahrzeuge ein individuelles Blinkmuster zugeordnet. Die verwendeten visuellen Muster können z.B. Blinkmuster oder Lichtzeichenabfolgen sein. So kann z.B. ein Fahrzeug durch 3 Wechselblinkzeichen links und rechts binnen 3 Sekunden durch die externen Kamerasensoren eindeutig identifiziert werden. Diese Zuordnung ermöglicht es nun der Kontrolleinheit das Fahrzeug zu identifizieren und zu steuern. Unter einer Verrechnungseinheit wird im Rahmen dieser Anmeldung auch die Verarbeitungseinrichtung verstanden.
Das System ermittelt die Pose (Ort und Fahrtrichtung) des Fahrzeugs ausschließlich aus zweidimensionalen Kamerabildern mittels fahrzeugexterner Kamerasensorik in einer externen Verarbeitungseinrichtung und projiziert diese Pose des Fahrzeugs als virtuelles Fahrzeug auf eine Karte der Umgebung.
Nach einer Ausführungsform ist die Kommunikation zwischen Fahrzeug und externer Verrechnungseinheit verschlüsselt oder die einzelnen Fahrbefehle werden durch Schlüssel validiert.
Zur automatisierten effizienten Kalibrierung der fahrzeugexternen Kamerasensoren wurde ein Kallibrierungssystem entwickelt, bei dem Testkörper zufällig auf die zu beobachtende Parkfläche ausgebracht werden. Durch die redundante Anbringung von Kamerasensoren wird daher jeder Textkörper von mehr als einer Kamera erfasst. Werden nun diese z.B. gleichgroßen aber verschiedenfarbigen Testkörper (z.B. gelbe, grüne, rote und blaue Scheiben oder Würfel mit einem Durchmesser von jeweils 20cm) auf der zu beobachtenden Parkfläche verschoben, so kann das Kontrollsystem 501 die Kamerapositionen, deren Winkel zur beobachteten Parkfläche, sowie deren Distanzen untereinander berechnen und damit die Kamerasensoren eindeutig auf einer Karte der zu beobachtenden Parkfläche positionieren.
In den Zeichnungen sind jeweils gleiche oder gleichartige Elemente und/oder Teile mit denselben Bezugsziffern versehen, so dass von einer erneuten Vorstellung jeweils abgesehen wird.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein.
Bezugszeichenliste

101: Ethernetanschluss
102: Switch
201: Fahrzeug
301: Überwachungskamera
401: Edge-System
501: Verarbeitungseinrichtung
601: Überwachungsvorrichtung
701: Kommunikationseinheit
702: Kommunikationseinheit
703: Kommunikationseinheit
704: Kommunikationseinheit
801: Anforderungseinheit
802: Anforderungseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008027692 A1 [0002]
DE 102012008858 A1 [0002]
WO 2011154242 A1 [0002]
DE 102016120433 A1 [0002]
DE 102005029336 A1 [0003]
DE 102013003683 A1 [0003]
US 9701305 B2 [0003]
DE 102009051463 B4 [0005]
DE 102012222562 A1 [0006]
WO 2016128203 A1 [0006]

Claims

Verfahren zum ferngesteuerten autonomen Fahren eines Fahrzeugs (201) mit den folgenden Verfahrensschritten: Erfassen des Fahrzeugs (201) mit Hilfe von wenigstens einem in einer Umgebung des Fahrzeugs (201) angeordneten Sensor, insbesondere Kamera (391), Ermitteln einer Bewegungsbahn für das Fahrzeug (201) mittels einer fahrzeugexternen Verarbeitungseinrichtung (501), Übermitteln der Bewegungsbahn und/oder von Steuerbefehlen betreffend die Bewegungsbahn an das Fahrzeug (201), und Umsetzen der Bewegungsbahn und/oder der Steuerbefehle im Fahrzeug (201), um das Fahrzeug (201) gemäß der Bewegungsbahn zu bewegen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zum Erfassen des Fahrzeugs (201) eine eindeutige Identifikation erfolgt, wobei das Fahrzeug (201) Lichtsignale abgibt, die durch den wenigstens einen Sensor erfasst werden und in der Verarbeitungseinrichtung (501) verarbeitet werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Pose des Fahrzeugs (201) mittels der wenigstens einen Kamera (301), insbesondere mehrerer Kameras (301), durch die Verarbeitungseinrichtung (501) ermittelt wird, wobei insbesondere eine Projektion der Pose auf eine Umgebungskarte erfolgt.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mittels der wenigstens einen Kamera (301) aufgenommenen Bilder oder Filmsequenzen in der Verarbeitungseinrichtung (501) eine Bilderkennung mittels Bildvergleich und/oder, insbesondere trainierter, neuronaler Netze Objekte, insbesondere andere Fahrzeuge oder Lebewesen, in der Umgebung des Fahrzeugs (201) erkannt werden, wobei insbesondere die Bewegungsbahn und/oder Steuerbefehle, die an das Fahrzeug (201) übermittelt werden, angepasst werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass mehrere Kameras (301) verwendet werden, wobei insbesondere durch Positionieren von Testkörpern, die von wenigstens zwei Kameras (301) erfasst werden, die Kameras (301), insbesondere automatisch, kalibriert und/oder auf einer Umgebungskarte positioniert werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zusätzlich Signale wenigstens eines fahrzeuginternen Sensors verwendet werden, um das Fahrzeug (201) zu steuern.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bewegungsbahn und/oder Steuerbefehle betreffend die Bewegungsbahn periodisch, insbesondere an den Takt des fahrzeuginternen Bussystems angepasst übermittelt werden.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Verfahren zur Ermittlung der Bewegungsbahn automatisch durchgeführt wird.
System zum ferngesteuerten autonomen Fahren eines Fahrzeugs (201), insbesondere in einer vorgebbaren oder vorgegeben Umgebung, umfassend eine Mehrzahl von fahrzeugexternen Kameras (301), die ausgebildet sind, Kamerabilder oder Videos wenigstens eines Teils der Umgebung zu erfassen, und eine fahrzeugexterne Verarbeitungseinrichtung (501), die ausgebildet ist, die Kamerabilder oder Videos zu verarbeiten, wobei die Verarbeitungseinrichtung (501) ferner dazu eingerichtet ist, wenigstens ein Fahrzeug (201) anhand der Kamerabilder oder Videos zu erkennen und eine Bewegungsbahn für das Fahrzeug (201) zu bestimmen, wobei ferner das System eine Übertragungsvorrichtung umfasst, die ausgebildet ist, die Bewegungsbahn und/oder Steuerbefehle betreffend die Bewegungsbahn an das Fahrzeug (201) zu übermitteln.
System nach Anspruch 9, dadurch gekennzeichnet, dass das System eingerichtet ist, das Fahrzeug von einer Startposition automatisch und/oder autonom zu einer Zielposition zu führen.
System nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass eine eindeutige Identifikation eines oder mehrerer Fahrzeuge (201) über eine Abgabe von Lichtsignalen des oder der Fahrzeuge (201) stattfindet.
System nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass mittels der Kamerabilder und/oder Videos eine Pose des oder der Fahrzeuge (201) ermittelbar ist, wobei die Pose insbesondere auf einer Umgebungskarte darstellbar ist.
System nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass das System ein Edge Computingsystem (401) umfasst, das eingerichtet ist, nur diejenigen Kamerabilder oder Videos, auf denen das oder die Fahrzeuge (201) oder andere Objekte, die für die Bewegungsbahn relevant sind, insbesondere vorverarbeitet, an die Verarbeitungseinrichtung (501) weiterzuleiten oder weiterzugeben.
System nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass das System, insbesondere trainierte oder vortrainierte, neuronale Netze und/oder Methoden des Deep Learning und/oder des Reinforcement Learning, insbesondere im Sinne eines Convolutional Neuronal Network, verwendet und/oder anwendet.
System nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass eine deterministische Überwachungsvorrichtung (601) vorgesehen ist, die insbesondere ausgebildet ist, Komponenten des Systems, insbesondere Kameras (301), die Verarbeitungseinrichtung (501) und/oder das Edge Computingsystem (401), auf Funktionsfähigkeit zu überprüfen.