-
Die Erfindung betrifft ein computerimplementiertes Verfahren und Computerprogramm zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken.
-
Die im Folgenden eingeführten Begriffe behalten ihre jeweilige Bedeutung für den gesamten Gegenstand der Erfindung.
-
Ein automatisiertes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines automatisierten Fahrzeuges auf Systemebene als auch das automatisierte Fahrzeug, beispielsweise ein PKW, LKW, Bus, people mover, ein Personal oder Group Rapid Transit System, Shuttle, Robotertaxi, als solches. Ein automatisiertes Fahrsystem umfasst zumindest eine Umfelderkennungseinheit, die das Umfeld wahrnimmt, eine Steuereinheit, die ausgehend von der Umfeldwahrnehmung Längs- und/oder Querführung des Fahrsystems regelt und/oder steuert und Trajektorien plant, und Aktuatoren, die in Abhängigkeit von Regel- und/oder Steuerungssignalen der Steuereinheit die Längs- und/oder Querführung des Fahrsystems steuern. Der Automatisierungsgrad kann vollautomatisiert/autonom umfassen.
-
Funktionalitäten des Fahrsystems betreffen bestimme Fahraufgaben bei einer entsprechenden Automatisierungsstufe. Eine Funktionalität ist beispielsweise eine SAE J3016 Level L3, das heißt bedingt automatisierte, Autobahnfahrt. Bei L3 übernimmt die Längs- und Querführung und die Umgebungsbeobachtung das Fahrsystem, der menschliche Fahrer bleibt aber Rückfallebene. Verschiedene Funktionalitäten müssen für die gleiche Fahraufgabe unterschiedlich validiert werden. Bei dem Ereignis, dass ein vorausfahrendes Fahrzeug am Abbremsen ist, wird von einem L3 Fahrsystem beispielsweise verlangt, dem vorausfahrenden Fahrzeug zunächst zu folgen, abzubremsen, und anzuhalten. Für das gleiche Ereignis wird von einem L4 Fahrsystem verlangt, dem vorausfahrenden Fahrzeug zunächst zu folgen, abzubremsen, ggf. anzuhalten, Spur zu wechseln und vorbeizufahren. Bei L4 übernimmt die Längs- und Querführung, die Umgebungsbeobachtung und die Rückfallebene das Fahrsystem.
-
Validierung bezieht sich auf die Prüfung von Funktionalitäten eines automatisierten Fahrsystems bezogen auf einen konkreten Einsatzzweck. Die Prüfung erfolgt auf Grundlage eines vorher aufgestellten Anforderungsprofils. Beispielsweise wird eine Strecke, die das automatisierte Fahrsystem bei Tag automatisiert fahren soll, zunächst bei Tag von einem Fahrzeug, das von einem menschlichen Fahrer gefahren wird, abgefahren. Dabei wird die Strecke beispielsweise per Video aufgezeichnet. Diese Aufzeichnung wird nun analysiert hinsichtlich möglichen Anforderungen, die das automatisierte Fahrsystem auf dieser Strecke erfüllen muss. Beispielsweise umfasst die Strecke einen Kreisverkehr. Eine Anforderung an das automatisierte Fahrsystem ist dann beispielsweise, einen Kreisverkehr zu erkennen, beispielsweise die entsprechenden Verkehrszeichen, in einen Kreisverkehr einzufahren und auszufahren unter Beachtung der geltenden Verkehrsvorschriften. Ein Steuerungssystem umfassend Algorithmen zur Umfelderkennung, Trajektorienplanung und zum Ableiten von Regel- und/oder Steuerungssignalen und Aktuatoren für Längs- und/oder Querführung des automatisierten Fahrsystems wird davon ausgehend programmiert und konzipiert, für den Einsatzzweck des Fahrens bei Tag auf dieser Strecke die Fahraufgabe des Fahrens durch den Kreisverkehr zu erfüllen. In der Validierung wird geprüft, ob das automatisierte Fahrsystem für diesen Einsatzzweck diese Fahraufgabe erfüllt. Von Kundenanfrage bis zum Angebot sind viele händische Schritte zu machen, umfassend beispielsweise Analyse von Messdaten, was viel Zeit und Aufwand erfordert.
-
Um die Einsatzfähigkeit von automatisierten Fahrsystemen auf verschiedensten Strecken oder Routen zu bewerten oder deren Betriebsfunktionen, auch Operational Design Domain, abgekürzt ODD, genannt, zu bewerten, wird eine Vielzahl von Strecken in der realen Welt benötigt, die alle definierten Parameterbereiche und Kombinatorik von Objekten abdeckt. Die ODD betrifft Betriebsbedingungen, unter denen ein bestimmtes automatisiertes Fahrsystem oder ein technisches Merkmal davon für eine bestimmte Funktionalität ausgelegt ist. Die ODD stellt einen Lösungsraum dar, für den der Einsatz von automatisierten Fahrsystemen vorgesehen ist. Die ODD beschreibt die Gesamtheit der Betriebsrahmenbedingungen, umfassend Route, Umweltbedingungen, Geschwindigkeiten und weitere Aspekte.
-
Im bekannten Stand der Technik fordert der Kunde eine ODD-Analyse für ein automatisiertes Fahrsystem an. Daraufhin sammelt ein Produkteigentümer Aufnahmen von Fahrszenarien zur ODD-Analyse. Das Sammeln von Aufnahmen, in der Regel werden die Fahrszenarien eingefahren, stellt einen großen Arbeitsaufwand dar und kann mehrere Wochen dauern. Zum Einfahren der Daten werden spezielle Testfahrzeuge eingesetzt. Aus den Aufnahmen werden hochauflösende Karten erstellt. Das Erstellen der Karten kann weitere mehrere Wochen beanspruchen. Basierend auf den Karten werden händisch Fahrszenarien generiert. Das Generieren der Fahrszenarien kann Monate in Anspruch nehmen. Basierend auf den generierten Fahrszenarien erfolgt die ODD-Analyse, was weitere mehrere Wochen in Anspruch nehmen kann.
-
Die DE 10 2020 205 310.3 offenbart ein Verfahren und eine Datenstruktur zur Abdeckung der definierten Parameterbereiche und Kombinatorik von Objekten.
-
Die DE 10 2021 201 177.2 offenbart eine Software zur automatisierten Generierung von plausiblen Strecken.
-
Bei der Aerophotogrammetrie werden im bekannten Stand der Technik die Fotografien mit flugzeuggetragenen, digitalen oder analogen Messbildkameras aufgenommen. Es entstehen meist regelmäßige, streifenweise angeordnete Bildverbände, in denen sich benachbarte Bilder deutlich überlappen. Die Bildverbände werden orientiert, also in ein gemeinsames Koordinatensystem transformiert. Die Orientierung der Bildverbände erfolgt anhand von Pass- und Verknüpfungspunkten im Rahmen einer Bündelblockausgleichung. Aus den orientierten Bildern können Folgeprodukte wie 3D-Punkte, digitale Geländemodelle (DGM), Orthofotos etc., abgeleitet werden. Die Ergebnisse der Aerophotogrammetrie dienen der Erstellung und Fortführung topographischer Karten und Orthofotos, der großmaßstäbigen Punktbestimmung in Liegenschaftskatastern und zur Flurbereinigung. Es können auch digitale Geländemodelle (DGM) aus den Daten abgeleitet werden. Die Landnutzungserhebung sowie Umwelt- und Leitungskataster profitieren ebenfalls von den Resultaten der Aerophotogrammetrie. Der Text dieses Absatzes wurde aus Wikipedia entnommen und unterliegt der CC-BY-SA-Lizenz.
-
Ein unbemanntes Luftfahrzeug, auch Drohne genannt, ist ein Luftfahrzeug, das ohne eine an Bord befindliche Besatzung autark durch einen Computer oder vom Boden über eine Fernsteuerung betrieben und navigiert werden kann. Der Text dieses Absatzes wurde aus Wikipedia entnommen und unterliegt der CC-BY-SA-Lizenz. Im bekannten Stand der Technik werden Drohnen in militärischen Operationen und kommerziellen Nutzungen eingesetzt.
-
Eine Computer-Engine ist ein Framework zur Erzeugung von 3D-Welten. Die Computer-Engine steuert und visualisiert Geschehnisse und Abläufe von Prozessen. Beispielsweise steuert eine Computer-Spiel-Engine einen Spielverlauf und stellt den Spielablauf visuell dar. Die Computer-Engine umfasst eine Grafik-Engine für die grafische Darstellung, ein Physiksystem zum visuellem Realismus in den 3D-Welten und ein Soundsystem zum Erzeugen von Raumklang.
-
Aufgabe der Erfindung war es, wie man die Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems verbessern kann.
-
Die Gegenstände der Ansprüche 1 und 6 lösen jeweils diese Aufgabe.
-
Nach einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken. Das Verfahren umfasst die Schritte
- • aerofotogrammetrisches Vermessen von realen Fahrstrecken mittels wenigstens eines unbemannten Luftfahrzeugs, das wenigstens einen Bildgebungssensor trägt, wobei das unbemannte Luftfahrzeug die realen Fahrstrecken abfliegt, während des Abfliegens mittels des Bildgebungssensors Bilder der realen Fahrstrecken erhalten werden und basierend auf den Bildern wenigstens 3D-Punkte bestimmt werden;
- • Prozessieren der Bilder durch wenigstens einen Umfeldwahrnehmungsalgorithmus und Erhalten von Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen umfassend Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen;
- • Eingeben der 3D-Punkte und der Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine und Generieren der virtuellen Fahrstrecken mittels der Computer-Engine;
- • Entwickeln und/oder Validieren der Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken.
-
Im Gegensatz zum bekannten Stand der Technik sind bei dem erfindungsgemäßen Verfahren die Bilder des unbemannten Luftfahrzeuges, beispielsweise einer Drohne, die Datenquelle. Das unbemannte Luftfahrzeug kann die Bilder automatisiert aufnehmen. Damit wird die Zeit zwischen Kundenanforderung und Datenbereitstellung drastisch reduziert bis beispielsweise auf einige Stunden oder Tage. Je mehr unbemannte Luftfahrzeuge eingesetzt werden, desto schneller können die Daten bereitgestellt werden. Die aerofotogrammetrische Vermessung spart erneut Zeit ein, insbesondere wenn das Verfahren beispielsweise Cloud basiert durchgeführt wird. Die aerofotogrammetrische Vermessung umfasst eine fotogrammetrische Rekonstruktion des erfassten Bildmaterials und die Erstellung von virtuellen Abbildern.
-
Nach einem Aspekt ist der Bildgebungssensor eine Kamera, alternativ ist der Bildgebungssensor ein Lidar- und/oder Radarsensor.
-
Nach einem Aspekt werden bei der aerofotogrammetrischen Vermessung Kameraaufnahmen mit Lidaraufnahmen kombiniert, wodurch 3D Eindrücke verbessert werden. Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist, dass ODD-Analysen mittels der Computer-Engine spezifischer und schneller durchgeführt werden können, beispielsweise innerhalb von Stunden.
-
Die Computer-Engine ist beispielsweise eine 3D-Engine. Die Grafik-Engine umfasst Funktionen zum Laden, Darstellen und Animieren von 3D-Modellen, beispielsweise von 3D-Modellen des automatisierten Fahrsystems und/oder von Infrakstrukturelementen. Das Physiksystem umfasst die Simulation der Newtonschen Mechanik, Oberflächenphysik und Strömungslehre. Das Soundsystem erzeugt nach einem Aspekt Sirenensignale von Rettungsfahrzeugen. Damit kann ein Umfeldwahrnehmungssystem des automatisierten Fahrsystems basierend auf Akustik entwickelt und/oder validiert werden.
-
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, das erfindungsgemäße Verfahren auszuführen, wenn der Computer das Computerprogramm ausführt.
-
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, in einer prozeduralen Programmiersprache, beispielsweise C, oder in einer Hardwarebeschreibungssprache, beispielsweise zur Verschaltung von Elementen des erfindungsgemäßen Hardwaremoduls, beispielsweise eines FPGA Schaltkreises. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder über ein Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Das Computerprogramm kann auch ein Hardware abhängiges Programm sein. Nach einem weiteren Aspekt wird das Computerprogramm von einem Remote-Computer oder einem Remote-Computersystem, beispielsweise einem Cloud-Computer oder einem Cloud-Computernetzwerk, ausgeführt.
-
Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
-
Nach einem Aspekt werden die Bilder der realen Fahrstrecken in einen Cloud-Speicher übertragen. Das Prozessieren der Bilder, die Computer-Engine und/oder das Entwickeln und/oder Validieren der Funktionalitäten in der Cloud werden mittels Cloud-Computing ausgeführt. Die Bilder werden beispielsweise mittels Funktechnologie übertragen. Cloud-Speicher und Cloud Computing ermöglichen die Bearbeitung großer Datenmengen. Beispielsweise können mehrere unbemannte Luftfahrzeuge Fahrstrecken in einem Staat oder Staaten übergreifend, beispielsweise weltweit, abfliegen. Die Bilder werden dann in einen oder mehrere Cloud-Speicher, beispielsweise pro Staat einen, übertragen und dort mittels Cloud-Computing bearbeitet. Dies ermöglicht eine zentrale Verarbeitung.
-
Nach einem weiteren Aspekt werden Fahrszenarien spezifische Einzelheiten und/oder selten auftretende Fälle, sogenannte Cornercases, generiert und/oder eingefahren werden. Insbesondere, wenn noch keine Cornercases eingefahren wurden, können diese in der Computer-Engine generiert werden. Damit kann bereits in der frühen Aquisitionsphase ein hohes Maß an Konfidenz erreicht werden als auch in der Entwicklung bereits überprüft werden, welche Fahrszenarien spezifischen Einzelheiten problematisch werden können. Nach einem weiteren Aspekt erfolgt in der Computer-Engine eine automatische Population und Generation von Fahrsituationen und Cornercases. Damit können ausgehend von einer Lückenanalyse, auch gap analysis genannt, betreffend ODDs identifizierte Lücken, insbesondere noch nicht eingefahrene, aber für die Validierung notwendigen, Fahrszenarien, gezielt geschlossen, das heißt die entsprechenden ODDs gezielt generiert, und damit Funktionen des automatisierten Fahrsystems vollumfänglich entwickelt und/oder validiert werden.
-
Nach einem weiteren Aspekt werden die Bilder durch Maschinenlernalgorithmen prozessiert, die auf Objekterkennungen, -klassifizierungen und/oder -lokalisierungen trainiert wurden. Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverarbeitungsvorrichtungen die Ausführung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben programmiert zu werden. Der Maschinenlernalgorithmus lernt auf Trainingsdaten in einem beispielsweisen überwachten Lernen, Relationen zwischen Fahrszenen und Objekten und/oder der Fahrszenen zu bestimmen. Damit sind Vor-Ort-Messungen auf Strecken nicht mehr notwendig. Das Maschinenlernmodell ist beispielsweise ein künstliches neuronales Netzwerk. Für das Training ist es vorteilhaft, dass der Computer, der den Maschinenlernalgorithmus ausführt, eine Mikroarchitektur zum parallelisierten Ausführen von Prozessen umfasst, um das künstliche neuronale Netzwerk mit einer großen Anzahl an Daten zeiteffizient trainieren zu können. Graphikprozessoren umfassen eine derartige Mikroarchitektur.
-
Nach einem weiteren Aspekt fährt in der Computer-Engine ein Modell des automatisierten Fahrsystems die Fahrszenarien ein. Betriebsfunktionen, Überwachungen eines Fahrumfeldes, Trajektorienplanungen und/oder Systemfehler des automatisierten Fahrsystems werden validiert, und zwar in der Computer-Engine, das heißt beispielsweise in einer 3D Simulationswelt.
-
Die Betriebsfunktionen, auch operational design domains, abgekürzt ODD, genannt, umfassen Infrastruktur, Betriebsbedingungen, Objekte, Konnektivität und Umweltbedingungen. Unterklassen der Infrastruktur umfassen beispielsweise Straßengeometrie, Straßenoberflächen, Straßenarten, Straßenmarkierungen, auch länderspezifische Straßenmarkierungen. Objektattribute für Straßengeometrien umfassen Kurve, Hügel, geradlinig, Spurbreite. Objektattribute für Straßenoberflächen umfassen Asphalt, Beton, Mischung, Kies, befestigt, nicht befestigt, Gras, Verschmutzungsgrad, Reibwert. Objektattribute für Straßenarten umfassen Autobahn, Bundesstraße, Landstraße, Brücke, Tunnels, jeweils mehr- oder einspurig, Kreuzungen, Kreisverkehre, Spurzusammenführungen, Straßenüberquerungen. Objektattribute für Straßenmarkierungen umfassen Spurmarkierungen, Fahrbahnmarkierungen. Unterklassen der Konnektivität umfassen V2V und V2X Kommunikation. Objektattribute für V2V und/oder V2X Kommunikation umfassen Kommunikationsprotokolle, Bandbreite, Latenzzeiten, Stabilität, Verfügbarkeit. Als ein weiteres Beispiel umfassen Unterklassen der Umweltbedingungen Wetter, Beleuchtung und Wetter bedingte Straßenbedingungen. Objektattribute für Wetter umfassen Schnee, Wind, Temperatur und Regen. Objektattribute für Regen umfassen Nieselregen, Durchschnittsregen und Starkregen. Objektattribute für Beleuchtung umfassen Tag, Dämmerung, Nacht, Straßenbeleuchtung, Fahrzeugleuchten. Objektattribute für Wetter bedingte Straßenbedingungen umfassen trocken, nass, vereist.
-
Die Überwachung des Fahrumfeldes, auch object and event detection and response, abgekürzt OEDR, genannt, umfasst beispielsweise Objektdetektierung, Ereignisdetektierung, Erkennung, Klassifikation und Reaktion auf die Objekt- und/oder Ereignisdetektierung. Unterklassen der Objektdetektierung umfassen Detektieren von Fahrzeugen, Fußgängern, Fahrradfahrern, Tieren, Verkehrszeichen, Baustellen und Spuränderungen. Objektattribute von Fahrzeugen umfassen Passagierfahrzeuge, Nutzfahrzeuge, Lastfahrzeuge, Busse, Motorräder. Objektattribute von Verkehrszeichen umfassen minimale Geschwindigkeitsbegrenzung, maximale Geschwindigkeitsbegrenzung, Stopp-Schilder, Bahnüberquerungen. Unterklassen der Ereignisdetektierung umfassen Abbremsen oder Beschleunigen eines vorausfahrenden Fahrzeuges, Überqueren einer Straße eines Fußgängers. Unterklassen der Reaktionen umfassen Ausführen einer Verfolgung eines vorausfahrenden Fahrzeuges.
-
Die Trajektorienplanung, das heißt maneuver behavior, umfasst Fahrverhalten. Unterklassen des Fahrverhaltens umfassen Parken, Geschwindigkeit Halten, Fahrzeug Folgen, in der Spur Fahren, Spurwechsel, einem Hindernis ausweichen, Verkehrsregeln Beachten, Kreisverkehre Navigieren und Routenplanung.
-
Systemfehler, das heißt failure mode behaviors, umfassen zum Beispiel Sensorfehler, Kommunikationsfehler, Wahrnehmungsfehler, Fehler in Navigation und Regelung und/oder Steuerung, Fehler in Mensch-Maschinen-Benutzungsschnittstellen. Hinsichtlich Sensorfehler sind Fehler betreffend die funktionale Sicherheit nach ISO 2626.2 umfasst. Hinsichtlich Wahrnehmungsfehler sind Fehler betreffend die safety of the intended functions nach ISO/PAS 21448 umfasst. Unterklassen der Sensorfehler umfassen Hardware- und Softwarefehler, beispielsweise Stromausfall, Ausfall einer Datenverbindung. Sensoren umfassen Radar, Lidar, Kamera, Schall, GPS, Beschleunigungssensoren, Radsensoren. Unterklassen der Wahrnehmungsfehler umfassen Softwarefehler von Algorithmen zum Prozessieren von Daten und zur Bilderkennung. Unterklassen der Fehler in Mensch-Maschinen-Benutzungsschnittstellen, auch human machine interface, abgekürzt HMI, genannt, umfassen Fehler in optischen Anzeigevorrichtungen. Die Systemfehler einzelner Komponenten des Fahrsystems, beispielsweise Fehler des Perzeptionssystems, pflanzen sich auf andere Komponenten und das Gesamtsystem fort, beispielsweise das Antriebssystem. Die Systemfehler resultieren in einer suboptimalen Performanz des Fahrsystems, beispielsweise fährt das Fahrsystem langsamer als erlaubt basierend auf einem Wahrnehmungsfehler eines Geschwindigkeitsschildes, oder das Fahrsystem führt unerwartete oder unsichere Manöver aus, beispielsweise plötzliches Beschleunigen oder Verlassen der Fahrspur, oder es kommt zu Kollisionen. Diese Fehler werden während Fahrten aufgezeichnet und/oder in Simulationen modelliert und gehen in die Validierung ein. Beispielsweise werden Sensorrauschen oder Hardwarefehler modelliert. Auf die die Fehler wird mit fail-safe und/oder fail-operational Verfahren reagiert. Das validierte Fahrsystem wird auf die Fehler situationsbedingt mit fail-safe oder fail-operational reagieren. Fail-safe ist beispielsweise ein Sicherheitsstopp. Fail-operational ist beispielsweise Fahren mit verringerter Maximalgeschwindigkeit.
-
Betriebsfunktionen, Überwachungen eines Fahrumfeldes, Trajektorienplanungen und/oder Systemfehler des automatisierten Fahrsystems, deren jeweilige Unterklassen und Attribute, und beliebige Kombinationen untereinander werden in der Computer-Engine basierend auf den aerofotogrammetrischen Vermessungen der realen Fahrstrecken generiert. Dies ermöglicht eine umfassende, automatisierte Validierung automatisiertet Fahrsysteme.
-
Ein Aspekt der Erfindung betrifft das Anbieten, beispielsweise als Software-as-a-Service, des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Computerprogramms an Kunden, die ein automatisiertes Fahrsystem oder zum Validieren des Fahrsystems erforderliche Fahrstrecken anfordern. Damit kann automatisiertes/autonomes Fahren zügig in den Markt gebracht werden. Durch die Automatisierung des Verfahrens ergibt sich ein Vorteil in der Angebotsfindung, der Entwicklung als auch der Validierung.
-
Software-as-a-Service bedeutet, dass ein Nutzungszugang zu dem erfindungsgemäßen Verfahren und damit auch zu dem erfindungsgemäßen Computerprogramm beispielsweise in einer Cloud angeboten werden, beispielsweise mittels Software-overthe-Air. Das erfindungsgemäße Verfahren und das erfindungsgemäße Computerprogramm können damit als eine Cloud-basierte Anwendungssoftware bereitgestellt. Die Cloud umfasst Speicherplatz, Rechenleistung und Anwendungssoftware, die über internet-of-things-Technik verfügbar gemacht werden. Beispielsweise werden die Maschinenlernalgorithmen in der Cloud trainiert und ausgeführt.
-
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
- 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,
- 2 ein Ausführungsbeispiel eines unbemannten Luftfahrzeuges und
- 3 ein Ausführungsbeispiel eines Geschäftsmodells basierend auf dem erfindungsgemäßen Verfahren.
-
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
-
In 1 werden in einem Verfahrensschritt V1 reale Fahrstrecken aerofotogrammetrisch vermessen. Hierzu fliegt ein unbemanntes Luftfahrzeug 1 oder Drohne die reale Fahrstrecke ab. Wenigstens ein Bildgebungssensor 2, der von dem unbemannten Luftfahrzeug 1 getragen wird, macht dabei Bilder von den Fahrstrecken oder einzelnen Segmenten der Fahrstrecken.
-
In 2 trägt das unbemannte Luftfahrzeug 1 beispielsweise fünf Kameras als Bildgebungssensoren. 3 zeigt ein weiteres Ausführungsbeispiel eines unbemannten Luftfahrzeuges 1.
-
Basierend auf den Bildern werden mittels fotogrammetrischer Rekonstruktion wenigstens 3D-Punkte bestimmt.
-
In einem Verfahrensschritt V2 werden die Bilder durch wenigstens einen Umfeldwahrnehmungsalgorithmus prozessiert. Der Umfeldwahrnehmungsalgorithmus gibt Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen in den Bildern aus. Der Umfeldwahrnehmungsalgorithmus ist beispielsweise ein Maschinenlernalgorithmus, beispielsweise ein künstliches neuronales Netzwerk, beispielsweise ein Faltungsnetzwerk, und ist trainiert, Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen zu erkennen, klassifizieren und/oder lokalisieren als auch weitere Fahrzeuge. Verkehrsknotenpunkte umfassen beispielsweise Kreisverkehre. Querungsanlagen umfassen beispielsweise Zebrastreifen.
-
In einem Verfahrensschritt V3 werden die 3D-Punkte und die Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine eingegeben. Die Computer-Engine generiert aus den eingegebenen Daten die virtuellen Fahrstrecken.
-
In einem Verfahrensschritt V4 werden die Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken virtuell entwickelt und/oder validiert.
-
In 3 wird das beschriebene Verfahren in einem Geschäftsmodell, beispielsweise in Form von Validierung als Dienstleistung oder auch validation-as-a-service genannt, angewendet. Das Verfahren kann beispielsweise als Software-as-a-Service angeboten werden.
-
Ein Kunde, beispielsweise ein Flottenbetreiber von autonomen Shuttles, fordert eine ODD Analyse an. Innerhalb weniger Tage werden reale Fahrstrecken mittels des unbemannten Luftfahrzeuges 1 abgeflogen. Ausgehend von dem Bildmaterial wird mittels Aerofotogrammetrie innerhalb einiger Stunden automatisiert eine 3D Umgebung erhalten. In dieser 3D Umgebung können die ODDs innerhalb weniger Stunden analysiert werden.
-
Bezugszeichenliste
-
- 1
- unbemanntes Luftfahrzeug
- 2
- Bildgebungssensor
- V1-V4
- Verfahrensschritte
