-
Die Erfindung betrifft ein Verfahren zur Generierung einer Referenz-Repräsentation einer Umgebung einer zumindest teilautomatisierten mobilen Plattform.
-
Stand der Technik
-
Eine hohe Bedeutung für eine Umsetzung eines zumindest teilautomatisierten Fahrens mit einer zumindest teilautomatisierten mobilen Plattform, aber auch zunehmend für Fahrassistenzsysteme, hat die Realisierung der Wahrnehmung bzw. Repräsentation der Umgebung (Perception). Dabei wird die Umgebung mittels Sensoren erfasst und, beispielsweise mit Verfahren der Mustererkennung, bestimmt.
-
Somit werden die Daten der Sensoren in eine symbolische und semantische Beschreibung relevanter Aspekte der Umgebung überführt. Diese symbolische und semantische Beschreibung der Umgebung bildet dann eine Grundlage für die Ausführung von Aktionen in der so beschriebenen Umgebung oder für eine Anwendung bzw. einen Einsatzzweck mit einer beispielsweise zumindest teilautomatisierten mobilen Plattform. Ein typisches Beispiel für eine symbolische Beschreibung der Umgebung ist es, statische und/oder dynamische Objekte mittels Attributen zu beschreiben, die zum Beispiel die Lage, Form, Größe, Geschwindigkeit etc. des jeweiligen Objekts charakterisieren und diesen Objekten beispielsweise eine ethische, juristische o.ä. Bedeutung zuzuweisen. Bei den Objekten kann es sich beispielsweise um Hindernisse handeln, mit denen eine Kollision vermieden werden muss.
-
Für die Entwicklung, Absicherung, Evaluierung, Validierung von Algorithmen unterschiedlicher Systeme zum zumindest teilautomatisierten Fahren und zum Training maschineller Lernverfahren für den Einsatz beim zumindest teilautomatisierten Fahren, wie beispielsweise für ein Deep Learning, werden unterschiedliche Arten von Referenzdaten für die Beschreibung der Umgebung benötigt. Unter anderem sind dies gelabelte Stichproben der Sensordaten, die mit einer zumindest teilautomatisierten mobilen Plattform gemessen werden, sowie Aufzeichnungen mit „Ground Truth“-Daten, die eine möglichst genaue Beschreibung der Umgebung der mobilen Plattform darstellen.
-
Offenbarung der Erfindung
-
Eine Erzeugung von „Ground Truth“-Daten erfolgt in der Regel mit speziellen mobilen Plattformen, die mit einer qualitativ höherwertigen und genaueren Sensorik ausgestattet sind als das zu testende System. Z.B. könnte eine Kombination aus Lidar, Radar und Video als Referenz für die Entwicklung einer video-only AEB-Funktion (AEB: engl. Autonomous Emergency Braking (System); automatisches Notbremssystem) verwendet werden. Nachteil dieses Verfahrens ist, dass sich in der Regel, insbesondere aus wirtschaftlichen Erwägungen, nur eine kleine Testflotte mit dieser Sensorik ausstatten lässt.
-
Des Weiteren werden dedizierte „Hasenfahrzeugen“ verwendet, die mit einer Kommunikationseinrichtung und genauen Messeinrichtungen ausgestattet sind, die diese Daten beispielsweise über einen festen Kommunikationskanal an das Testfahrzeug übermitteln.
-
Die vorliegende Erfindung offenbart ein Verfahren zur Generierung einer Referenz-Repräsentation einer Umgebung, eine Vorrichtung, ein Computerprogramm, sowie ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche, die die oben genannten Aufgaben zumindest zum Teil lösen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
Gemäß einem Aspekt wird ein Verfahren zur Generierung einer Referenz-Repräsentation einer Umgebung einer zumindest teilautomatisierten mobilen Plattform vorgeschlagen.
-
In einem Schritt des Verfahrens wird zumindest eine Fremdplattform zum Empfangen von Referenzdaten für die Referenz-Repräsentation der Umgebung der mobilen Plattform ermittelt. In einem weiteren Schritt wird ein Kommunikationskanal der mobilen Plattform mit der zumindest einen Fremdplattform aufgebaut.
-
In einem weiteren Schritt werden die Referenzdaten der zumindest einen Fremdplattform zur Referenz-Repräsentation der Umgebung empfangen.
-
In einem weiteren Schritt werden die zur Generierung der Referenz-Repräsentation relevanten, empfangenen Referenzdaten ermittelt.
-
In einem weiteren Schritt werden die relevanten Referenzdaten der zumindest einen Fremdplattform, zur Generierung der Referenz-Repräsentation der Umgebung, gespeichert.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden und ist somit auch offenbart.
-
Mit diesem Verfahren lassen sich, durch die Generierung der Referenz-Repräsentation mittels einer beispielsweise zufällig oder geplant in der Umgebung der mobilen Plattform vorhandenen Fremdplattform und deren Sensorik bzw. deren Repräsentation der Umgebung, neue und interessante Szenarien im Feldversuch ermitteln, und mittels der Referenz-Repräsentation bewerten.
-
Dabei kann eine Referenz-Repräsentation der mobilen Plattform auch mittels jeweiliger Referenzdaten einer Mehrzahl von Fremdplattformen generiert werden.
-
Somit erhält man also die Möglichkeit von Tests bzw. Validierungen oder Verifikationen in Szenarien, die über das hinausgehen was in vorab definierten Szenarien, beispielsweise bei der Verwendung von einem „Hasenfahrzeugen“, festgelegt wäre.
-
Mit dem Verfahren kann also beispielsweise ein Fahrzeug, also eine Fremdplattform, mit einer qualitativ guten Sensorkonfiguration und beispielsweise mit einer automatisierten Fahrfunktion, als „Referenzsensorik“ für die Generierung der Referenz-Repräsentation eines in der Nähe befindlichen Fahrzeugs, der mobilen Plattform, mit einfacherer Sensorik verwendet werden. Ebenso kann ein Fahrzeug, bzw. eine Fremdplattform, oder ein Infrastruktur-System mit Sensoren, die im Egofahrzeug, also der mobilen Plattform, nicht vorhanden sind, die Daten des Egofahrzeugs so ergänzen, dass daraus eine Referenz-Repräsentation der Umgebung der mobilen Plattform erzeugt werden kann.
-
Der Vorteil dieses Verfahren kommt insbesondere bei der „open world“-Problematik einer Validierung oder einer „open Kontext“-Interaktion von HAF-Systemen (HAF: hoch automatisiertes Fahren) oder Service Robotik und der damit verbundenen Komplexität zum Tragen, da eine Validierung eines solchen HAF-Systems extrem aufwendig und somit kostenintensiv ist.
-
Bei der Anwendung dieses Verfahrens muss die mobile Plattform, in Form eines Testfahrzeuges, nicht unbedingt mit einer Referenz-Sensorik versehen sein und die Fremdplattform kann mobil oder ortsfest sein.
-
Dabei können die Referenzdaten Daten einer Fremdplattform sein, die die Fremdplattform selbst betreffen, wie beispielsweise eine Position der mobilen Fremdplattform oder ein Zustand, wie beispielsweise der Zustand einer Lichtzeichenanlage und/oder die Position und/oder die Bedeutung eines Verkehrszeichens etc. Die Referenzdaten können auch Objektattribute aufweisen, die die Fremdplattform, beispielsweise mittels der Sensorik der Fremdplattform, in der Repräsentation der Umgebung der Fremdplattform bestimmt hat. Darüber hinaus können die Referenzdaten auch direkte Sensordaten der Fremdplattform aufweisen oder Teilinformationen der Repräsentation der Umgebung der Fremdplattform betreffen oder auch Ergebnisse von Analysen betreffen, die die Fremdplattform aufgrund ihrer Repräsentation ihrer Umgebung ermittelt hat.
-
Gemäß einem Aspekt wird vorgeschlagen, dass zur Generierung einer Referenz-Repräsentation einer Umgebung einer zumindest teilautomatisierten mobilen Plattform, die empfangenen Referenzdaten zumindest einer oder einer Mehrzahl von mobilen Fremdplattformen untereinander und/oder mit mindestens einem Infrastruktur-System und/oder mit der mobilen Plattform zeitlich synchronisiert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass diese zeitliche Synchronisation jeweiliger interner Zeitgeber der mobilen Plattform und/oder der zumindest einen mobilen Fremdplattform und/oder des mindestens einen Infrastruktur-Systems mit einem zentralen Zeitnormal jeweils synchronisiert werden. Ein GPS System (GPS: engl.: global positioning system) kann als ein Beispiel für ein solches Zeitnormal genannt werden.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass diese zeitliche Synchronisation jeweiliger interner Zeitgeber der mobilen Plattform und/oder der zumindest einen mobilen Fremdplattform und/oder des mindestens einen Infrastruktur-Systems mittels eines drahtlosen Informationsnetzes erfolgt. Ein Beispiel für ein solches drahtloses Informationsnetz ist ein Punkt zu Punkt Netz (PTP: engl. point to point).
-
Mit einer solchen Synchronisation können Daten bzw. Referenzdaten von unterschiedlichen Daten generierenden Systemen der mobilen Plattform bzw. der mobilen Fremdplattform bzw. des Infrastruktur-Systems beispielsweise einander zugeordnet und/oder verglichen werden.
-
Die Referenz-Repräsentation kann dabei unterschiedliche Formate und unterschiedliche Inhalte als die Repräsentation haben, die die mobile Plattform bestimmt hat.
-
Die Referenz-Repräsentation kann dabei geeignet sein, eines oder mehrere Objektattribute bzw. Merkmale der Repräsentation der Umgebung der mobilen Plattform auf ihre Güte oder Korrektheit zu prüfen. Eine aktuelle Referenz-Repräsentation der Umgebung kann somit durch die empfangenen Referenzdaten, insbesondere in Bezug auf eine zu testende Teilfunktionalität der mobilen Plattform, verbessert werden.
-
Mittels der Referenz-Repräsentation der Umgebung der mobilen Plattform kann ein System oder eine Teilfunktion der mobilen Plattform, deren Hardwarekomponenten mit der mobilen Plattform verbunden sind, sowohl auf der mobilen Plattform selbst als auch offline getestet, verifiziert oder validiert werden.
-
Für den Aufbau des Kommunikationskanals der mobilen Plattform kann die Plattform drahtlos Signale aussenden, die von einer Fremdplattform aufgefangen und beantwortet werden können, sofern die Fremdplattform eingerichtet ist, Referenzdaten an die mobile Plattform zu senden.
-
Dabei betreffen die relevanten Referenzdaten solche Daten, die geeignet sind, eines oder mehrere Merkmale der Repräsentation der Umgebung der mobilen Plattform auf ihre Güte oder Korrektheit zu prüfen.
-
Weiterhin kann ermittelt werden, ob die empfangenen Referenzdaten der Fremdplattform relevant für die Repräsentation der Umgebung der mobilen Plattform ist, d.h. ob die Umgebung der mobilen Plattform und die Umgebung der Fremdplattform einander überlappen.
-
Die Referenzdaten der jeweiligen Fremdplattformen können auch eine geringere Güte haben, als die Daten, die mit den Sensoren der mobilen Plattform generiert wurden, denn auch durch eine geeignete Fusion, von beispielsweise einer Mehrzahl von Referenzdaten mehrerer Fremdplattformen, kann eine Gesamtgüte der Referenz-Repräsentation verbessert werden.
-
Eine solche Referenz-Repräsentation kann dafür vorgesehen sein, zumindest eine Teilfunktionalität der mobilen Plattform zu testen bzw. zu verifizieren oder zu validieren.
-
Die zur Generierung der Referenz-Repräsentation relevanten Referenzdaten sind davon abhängig, welche Referenz-Repräsentation für zumindest eine zu testende Teilfunktion bzw. Teilfunktionalität der mobilen Plattform notwendig ist und welche Daten, beispielsweise aufgrund der auf der mobilen Plattform vorhandenen Sensoren, für die mobile Plattform verfügbar sind.
-
Im Folgenden werden fünf unterschiedliche Szenarien für eine Verwendung des beschriebenen Verfahrens zur Generierung einer Referenz-Repräsentation beispielhaft vorgestellt:
- a. Die zumindest eine Fremdplattform übermittelt ihre eigene Position, ihre Geschwindigkeit, ihre Abmessungen etc. als Referenz. Dadurch können mit diesem Verfahren Testfahrten ähnlich den Testfahrten mit einem speziell ausgerüsteten „Hasenfahrzeug“ durchgeführt werden.
- b. Ein Infrastruktur-System wie beispielsweise eine Ampel übermittelt an die mobile Plattform ihre Position, ihren Signalzustand etc. als Referenzdaten.
- c. Die zumindest eine Fremdplattform, wie beispielsweise ein Fremdfahrzeug, übermittelt Sensordaten, die die Umgebung repräsentieren und/oder die Repräsentation der Umgebung oder Teile der Repräsentation der Umgebung, die die Fremdplattform generiert hat, zur Generierung einer Referenz-Repräsentation der Umgebung der mobilen Plattform.
- d. Darüber hinaus können Infrastruktur-Kameras, Daten von Systemen von Mautbrücken und weitere Referenzdaten ihrer Umgebung und/oder ihre Repräsentation ihrer Umgebung oder Teile davon übermitteln, um eine Referenz-Repräsentation einer Umgebung der mobilen Plattform zu generieren.
- e. Die mobile Plattform übermittelt spezifische Anfragen zu Referenzdaten an eine Fremdplattform und/oder ein Infrastruktur-System, die zur Generierung einer Referenz-Repräsentation einer Umgebung der mobilen Plattform benötigt werden. Beispielsweise eine Überprüfungsanfrage, ob ein spezifisches Objekt der Umgebung auch von der entsprechenden Infrastruktur bzw. Fremdplattform identifiziert wurde. Oder eine Überprüfungsinformation in Bezug auf eine Geschwindigkeit eines bestimmten dynamischen Objektes an einer bestimmten Position der Umgebung.
- f. Darüber hinaus kann eine Fremdplattform Informationen über Umweltbedingungen ihrer Umgebung bereitstellen und übermitteln, wie beispielsweise Straßenreibwerte, Wetter, Licht- und Sichtbedingungen.
-
Bei diesem Verfahren ist vorteilhaft, dass eine Vertrauenswürdigkeit der Nutzung von Daten, die von Fahrzeug zu Infrastruktur oder von Fahrzeug zu Fahrzeug übertragen werden, wie sie zum Beispiel bei Angriffen von außen oder bei Fehlern in den Algorithmen des anderen Fahrzeugs bzw. der Fremdplattform oder der Infrastrukturkomponente auftreten können, irrelevant sind.
-
Die Nutzung dieser Daten zur Verifikation oder Validierung ist insofern nicht sicherheitsrelevant, als dass ein Einspielen, d.h. Empfangen und Speichern, von fehlerhaften Daten lediglich dazu führt, dass die Verifikation bzw. Validierung fehlschlägt. Es muss lediglich im Nachhinein untersucht werden, ob das Fehlschlagen auf die eigentlich zu prüfende Komponente, auf den Kommunikationskanal oder auf das Fremdsystem zurückzuführen ist. In jedem Fall wurde aber eine tatsächliche Unzulänglichkeit eines der beteiligten Systeme aufgedeckt.
-
Gemäß einem Aspekt wird vorgeschlagen, dass über den aufgebauten Kommunikationskanal Signale in beide Richtungen zwischen der mobilen Plattform und der Fremdplattform übertragen werden.
-
Dadurch kann die mobile Plattform an die Fremdplattform gezielte Informations-Anfragen stellen, wie beispielsweise einen Abgleich über das Vorhandensein eines, insbesondere unsicher, detektierten Objektes in der Umgebung der mobilen Plattform oder ein Abgleich über eine Einschätzung in Bezug auf ein Szenario in dem überlappenden Bereich der Umgebung der mobilen Plattform und der Fremdplattform vornehmen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die zumindest eine Fremdplattform als Infrastruktur-System und/oder mobile Plattform ausgestaltet ist.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten Sensordaten beinhalten, die Informationen für die Repräsentation der Umgebung der mobilen Plattform aufweisen.
-
Mit diesen Sensordaten kann die mobile Plattform die, der mobilen Plattform vorliegenden, Sensordaten ergänzen und gegebenenfalls selber auswerten oder zu einer zentralen Auswertung an ein zentrales Auswerte-System, zur Generierung einer Referenz-Repräsentation der Umgebung der mobilen Plattform, übertragen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten Objektattribute der Repräsentation der Umgebung der Fremdplattform von Objekten der Umgebung der mobilen Plattform aufweisen. Dabei schließen die Objektattribute solche Attribute ein, die auch das Objekt Fremdplattform selbst betreffen. D.h. die Fremdplattform kann beispielsweise auch ihre eigene Position an die mobile Plattform übertragen, die es der mobilen Plattform ermöglichen kann, eine Referenz-Repräsentation einer Umgebung der mobilen Plattform zu generieren.
-
Die Übermittlung von Objektattributen von Objekten der Umgebung durch die Fremdplattform an die mobile Plattform hat den Vorteil, dass damit die Objektattribute, die die mobile Plattform selbst ermittelt hat, entweder ergänzt werden oder überprüft werden können.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten Informationen bezüglich Umweltbedingungen der Umgebung der mobilen Plattform aufweisen.
-
Mit dieser Information kann die mobile Plattform für die Generierung einer Referenz-Repräsentation beispielsweise auch Informationen bezüglich der Umweltbedingungen berücksichtigen, auf die sie aufgrund ihrer eigenen Einrichtung keinen Zugriff hätte.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten von der mobilen Plattform angeforderte Informationen bezüglich der Repräsentation der Umgebung der mobilen Plattform aufweisen.
-
Wie schon oben erläutert ermöglicht dies auch auf Analyseergebnisse der Fremdplattform oder einen ausgewählten Teil von Referenzdaten zugreifen zu können.
-
Beispielsweise könnte eine mobile Fremdplattform in einem spezifischen Szenario angefragt werden, ob sie in diesem Szenario auch eine Notbremsfunktion ausgelöst hätte.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten von der mobilen Plattform angeforderte Informationen bezüglich einer Aktion der mobilen Plattform, aufgrund der Repräsentation der Umgebung der mobilen Plattform, aufweisen.
-
Eine solche Aktion der mobilen Plattform, die auf eine Interpretation der mobilen Plattform in Bezug auf die Repräsentation der Umgebung der mobilen Plattform basiert, und beispielsweise mittels einer Auswerteeinheit der mobilen Plattform bestimmt wurde, kann beispielsweise eine positive oder negative Beschleunigung und/oder eine Richtungsänderung betreffen, mit der die mobile Plattform aufgrund ihrer Interpretation ihrer Umgebung auf ihre Umgebung reagiert.
-
Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein Teil der empfangenen Referenzdaten ein Qualitätsmaß der Referenzdaten aufweisen.
-
Mithilfe dieses Qualitätsmaßes der Referenzdaten kann die mobile Plattform oder eine zentrale Auswerteeinheit für die Generierung einer Referenz-Repräsentation berücksichtigen, welche Daten für die Generierung der Referenz-Repräsentation eine höhere Qualität haben, und entsprechend bei der Generierung berücksichtigen.
-
Ein Beispiel für ein solches Qualitätsmaß kann ein Fehlerintervall in Bezug auf eine örtliche Lokalisierung oder eine Beobachtungszeit sein.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten relevant zur Generierung von Referenz-Repräsentationen der Umgebung der mobilen Plattform sind, sofern entweder eine neue Referenz-Repräsentation der Umgebung mit den empfangenen Referenzdaten generiert werden kann, oder eine aktuelle Referenz-Repräsentation der Umgebung, mittels der empfangenen Daten verbessert wird.
-
Insbesondere muss die Referenz-Repräsentation nicht notwendigerweise dasselbe Format und dieselben Inhalte haben wir die Repräsentation, die die zumindest teilautomatisierte mobile Plattform aktiv nutzt. Die Referenz-Repräsentation sollte geeignet sein, eines oder mehrere Objektattribute bzw. Merkmale der Repräsentation der mobilen Plattform auf ihre Güte oder Korrektheit, beispielsweise in Bezug auf eine zu bestimmende Teilfunktionalität der mobilen Plattform hin, zu überprüfen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten die Generierung der aktuellen Referenz-Repräsentation der Umgebung verbessert, sofern das Qualitätsmaß der empfangenen Referenzdaten der Fremdplattform das Qualitätsmaß äquivalenter Daten der mobilen Plattform übertrifft.
-
Dabei ist zu berücksichtigen, dass eine Verbesserung der Referenz-Repräsentation auch durch eine geeignete Fusion von Referenzdaten einer Mehrzahl von Fremdplattformen erreicht werden kann, wenn die einzelnen Referenzdaten der Mehrzahl der Fremdplattformen die gleiche Güte oder sogar eine geringere Güte als die durch die mobile Plattform selbst bereitgestellten Daten haben.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten die Generierung der aktuellen Referenz-Repräsentationen der Umgebung verbessern, sofern sie ermöglichen, weitere Objektattribute von Objekten zur aktuellen Referenz-Repräsentation der Umgebung hinzuzufügen oder vorhandene Objektattribute zu überprüfen oder die Güte von vorhandenen Objektattributen zu verbessern.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten nur dann als Referenz-Repräsentation der Umgebung gespeichert werden, wenn der mobilen Plattform zusammen mit den empfangenen Referenzdaten ein Mindestmaß an Informationen über die Umgebung vorliegt.
-
Dabei kann ein solches Mindestmaß dann erreicht sein, wenn zumindest eine Eigenschaft bzw. ein Objektattribut der Repräsentation der Umgebung der mobilen Plattform mit der Referenz-Repräsentation der Umgebung der mobilen Plattform überprüft werden kann, die in Bezug auf die zu überprüfende Teilfunktionalität der mobilen Plattform relevant ist. Beispielsweise kann das der Abstand zu einem vorausfahrenden Fahrzeug sein. Das bedeutet, dass das Mindestmaß an Informationen über die Umgebung der mobilen Plattform von dem Test bzw. der Verifikation bzw. der Validierung abhängt, der oder die gegebenenfalls in einem späteren Schritt mit dieser Referenz-Repräsentation der Umgebung der mobilen Plattform durchgeführt werden soll.
-
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten mittels eines Speichers der mobilen Plattform gespeichert werden und nach der Fahrt auf eine externe zentrale Recheneinheit übertragen werden, oder die empfangenen Referenzdaten während der Fahrt auf den externen zentralen Server übertragen werden. Dabei ist die zentrale Recheneinheit eingerichtet, Referenz-Repräsentation der Umgebung zu generieren.
-
Da beispielsweise eine Auswertekapazität der mobilen Plattform in Bezug auf eine Repräsentation der Umgebung begrenzt ist, ergibt sich durch die Übertragung, beispielsweise auf eine zentrale Recheneinheit, die Möglichkeit auf eine größere Rechenkapazität zur Bestimmung einer Referenz-Repräsentation zurückgreifen zu können.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die empfangenen Referenzdaten mittels eines Speichers der mobilen Plattform gespeichert werden.
-
Dabei kann die mobile Plattform eingerichtet sein, für zumindest einen Teil der empfangenen Daten Referenz-Repräsentation der Umgebung zu generieren.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform eingerichtet ist, für zumindest einen Teil der empfangenen Referenzdaten, Referenz-Repräsentationen der Umgebung zu generieren, und die Referenz-Repräsentationen mittels eines Speichers der mobilen Plattform gespeichert werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform eingerichtet ist, für zumindest einen Teil der empfangenen Referenzdaten, Referenz-Repräsentationen der Umgebung zu generieren, die Referenz-Repräsentationen mit zumindest einem Teil der Repräsentation der Umgebung der mobilen Plattform verglichen wird, und das Ergebnis des Vergleichs mittels eines Speichers der mobilen Plattform gespeichert werden.
-
Vorteilhafterweise kann so Speicherplatz der mobilen Plattform eingespart werden.
-
Außerdem wird mit diesem Aspekt des Verfahrens ermöglicht, beispielsweise eine Verifikation oder Validation von Systemen, zumindest teilweise, unmittelbar im Fahrzeug und ohne eine Serverinfrastruktur durchzuführen. Ein Vergleich der Referenz-Repräsentation mit dem zu testenden System erfolgt dann unmittelbar im Fahrzeug nach einer Generierung der Referenz-Repräsentation der Umgebung der mobilen Plattform. Damit wird erreicht, dass lediglich das Ergebnis eines solchen Vergleichs sofort verfügbar ist und bei einer Falsifikation ggfs. weitere Informationen über das Szenario, entweder unmittelbar oder beim nächsten Werkstattbesuch über die Diagnose, beispielsweise an einen, insbesondere zentralen, Server übermittelt werden können.
-
Gemäß einem Aspekt wird vorgeschlagen, dass, basierend auf den empfangenen Referenzdaten, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf den empfangenen Referenzdaten ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.
-
Dabei ist der Begriff „basierend auf“ in Bezug auf das Merkmal, dass ein Steuersignal basierend auf den empfangenen Referenzdaten bereitgestellt wird, breit zu verstehen. Es ist so zu verstehen, dass die empfangenen Referenzdaten für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen werden, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Das gleiche gilt sinngemäß für das Bereitstellen des Warnsignals.
-
Es wird eine Vorrichtung angegeben, die eingerichtet ist, eines der Verfahren wie es oben beschrieben ist, durchzuführen. Mit einer solchen Vorrichtung kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
-
Es wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
-
Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, ein Flugzeug, ein Schiff, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 4 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 eine Skizze der Signalflüsse zur Generierung einer Referenz-Repräsentation;
- 2 eine weitere Skizze der Signalflüsse zur Generierung einer Referenz-Repräsentation mit einem zentralen Rechensystem;
- 3 eine weitere Skizze der Signalflüsse zur Generierung einer Referenz-Repräsentation mit zentraler Speicherung;
- 4 eine weitere Skizze der Signalflüsse zur Generierung einer Referenz-Repräsentation mit dezentraler Berechnung.
-
Die 1 zeigt mit der wie, für eine Generierung einer Referenz-Repräsentation einer Umgebung einer zumindest teilautomatisierten mobilen Plattform 130, in einem Schritt S1 zumindest eine Fremdplattform 110 und eine weitere Fremdplattform 120 zum Empfangen von Referenzdaten für die Referenz-Repräsentation der Umgebung der mobilen Plattform ermittelt wird. In einem weiteren Schritt S2 wird ein Kommunikationskanal der mobilen Plattform 130 mit der zumindest einen Fremdplattform 110, 120 aufgebaut.
-
In einem weiteren Schritt S3 werden die Referenzdaten der zumindest einen Fremdplattform 110, 120 zur Referenz-Repräsentation der Umgebung von der mobilen Plattform 130 empfangen.
-
In einem weiteren Schritt 4 werden die, zur Generierung der Referenz-Repräsentation, relevanten empfangenen Referenzdaten durch die mobile Plattform 130 ermittelt.
-
In einem weiteren Schritt S5 werden die relevanten Referenzdaten der zumindest einen Fremdplattform 110, 120, zur Generierung der Referenz-Repräsentation der Umgebung, gespeichert. Diese Speicherung kann auf einem persistenten Speicher 136 der mobilen Plattform 130 erfolgen. Dabei werden in diesem Ausführungsbeispiel die Referenzdaten der zumindest einen Plattform 110 mittels der Sensoren 112, 113, 114, 115 bzw. von der weiteren Plattform mittels der Sensoren 122, 123, 124, 125 bereitgestellt und über eine drahtlose Verbindung 111 zu 131 und einer weiteren drahtlosen Verbindung 121 zu 131 an die mobile Plattform 130 übertragen. Dabei generiert die zumindest teilautomatisierte mobilen Plattform 130 eine Repräsentation der Umgebung der mobilen Plattform 130 mittels der Sensoren 132, 133, 134, und 135.
-
Die Generierung der Referenz-Repräsentation der Umgebung der zumindest teilautomatisierten mobilen Plattform 130 kann mittels holistischer Algorithmen erfolgen, in dem nicht nur vergangene und aktuelle Daten, sondern auch, von dem betrachteten Ereignis aus gesehen, zukünftige Daten für die Bestimmung eines Objektattributes der Umgebung berücksichtigt werden.
-
Beispielsweise kann dieses Verfahren Anwendung in der Feldvalidierung oder Verifikation von neuen Algorithmen bzw. Systemen finden:
- - wenn beispielsweise eine neue Objekterkennung aus Umgebungs-Sensoren entwickelt wurde, kann mit diesem Verfahren die Position eines anderen Fahrzeugs, also einer Fremdplattform, in der Umgebung der mobilen Plattform, die die entsprechende Objekterkennung aufweist, abgefragt werden und dann mit den Daten dieser neuen Objekterkennung verglichen werden.
- - Wenn, als ein weiteres Beispiel, ein neuer Algorithmus zur Ampelerkennung entwickelt wurde, kann zur Validierung der vom Algorithmus ermittelte Ampelzustand mit dem empfangenen Zustand einer entsprechend ausgestatteten Ampel verglichen werden.
- - Wenn, in einem weiteren Beispiel, ein neues System zur Fahrzeuglokalisierung entwickelt wurde, kann zur Validierung die ermittelte Ego-Position des Systems mit der Position verglichen werden, an der ein anderes Fahrzeug, also eine mobile Fremdplattform oder eine Infrastrukturkamera das Ego-Fahrzeug, also die mobile Plattform, detektiert hat.
- - Zur Validierung einer neu entwickelten Notbremsfunktion (AEB) kann die Auslöseentscheidung der AEB Funktion mit Repräsentation der Umgebung eines in der Nähe befindlichen Fahrzeugs mit besserer Sensorausstattung verglichen werden.
-
Außerdem können mit diesem Verfahren „Ground Truth“-Daten aus Felddaten einer Vielzahl von Fahrzeugen generiert werden, um bestehende oder neue Algorithmen auf Cloud-Servern gegen diese generierten Felddaten zu testen. Dabei erfolgt die Verifikation oder die Validierung nicht im Fahrzeug selbst, sondern die Daten werden an einen Server übermittelt, wo sie für Offline-Verarbeitung zur Verfügung stehen.
-
Die 2 zeigt in der wie in einem weiteren Schritt die von den Fremdplattformen 110, 120 empfangenen und gespeicherten Referenzdaten von der mobilen Plattform 130 auf einen Server 210 oder Servercluster 210 mit Speichern 220, 225 übertragen werden, auf dem die Berechnung der Repräsentation mit holistischen Algorithmen erfolgen kann. Bei der Übertragung können auch die Daten, die die mobile Plattform selbst generiert hat, übertragen werden.
-
Die 3 zeigt mit der wie, gemäß einem anderen Aspekt des Verfahrens, die im Fahrzeug gemessenen Sensordaten und die von der mindestens einen Fremdplattform 120 empfangenen Referenzdaten über eine drahtlose Verbindung, wie beispielsweise eine Internetanbindung, während der Fahrt der mobilen Plattform 130 auf einen Server-Computer 210 oder auf einen Server-Cluster 210 außerhalb der mobilen Plattform 130 übertragen werden. Dabei ist der Server Computer bzw. der Servercluster 210 eingerichtet, Referenz-Repräsentation der Umgebung der zumindest teilautomatisierten mobilen Plattform zu generieren.
-
Die 4 skizziert mit der wie, gemäß einem Aspekt des Verfahrens, die von der mobilen Plattform selbst, mittels der Sensoren 132, 133 134, 135 generierten Sensordaten und die von der zumindest einen Fremdplattform empfangenen Referenzdaten, die mittels der Sensoren 122,123, 124, 125 generiert wurden, von der mobilen Plattform 130 zur Generierung einer Referenz-Repräsentation verwendet werden, indem Algorithmen für die Generierung einer Referenz-Repräsentation der Umgebung der mobilen Plattform auf der Hardware der mobilen Plattform generiert werden. Dabei wird ein weiterer Algorithmus verwendet, um eine Auswahl aus den insgesamt vorliegenden Sensordaten und den empfangenen Referenzdaten zu treffen, so dass nur für einen Teil der gemessenen Daten Referenz-Repräsentation der Umgebung automatisch generiert werden. Dabei weist die mobile Plattform 130 eine entsprechende Recheneinheit 410 zur Generierung der Referenz-Repräsentation aus diesen Daten auf.
