EP4384915A1 - Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken - Google Patents

Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken

Info

Publication number
EP4384915A1
EP4384915A1 EP22761515.0A EP22761515A EP4384915A1 EP 4384915 A1 EP4384915 A1 EP 4384915A1 EP 22761515 A EP22761515 A EP 22761515A EP 4384915 A1 EP4384915 A1 EP 4384915A1
Authority
EP
European Patent Office
Prior art keywords
routes
computer
images
driving system
functionalities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP22761515.0A
Other languages
English (en)
French (fr)
Inventor
Arnold Schlegel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of EP4384915A1 publication Critical patent/EP4384915A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3698—Environments for analysis, debugging or testing of software
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones

Definitions

  • Computer-implemented method and computer program for generating virtual routes and developing and/or validating functionalities of an automated driving system on the generated routes
  • the invention relates to a computer-implemented method and computer program for generating virtual routes and developing and/or validating functionalities of an automated driving system on the generated routes.
  • An automated driving system designates the components and functionalities of an automated vehicle at system level as well as the automated vehicle, for example a car, truck, bus, people mover, a personal or group rapid transit system, shuttle, robot taxi, as such.
  • An automated driving system comprises at least one environment recognition unit that perceives the environment, a control unit that, based on the environment perception, regulates and/or controls the longitudinal and/or lateral guidance of the driving system and plans trajectories, and actuators that, depending on control and/or Control signals from the control unit control the longitudinal and/or lateral guidance of the driving system.
  • the degree of automation can include fully automated/autonomous.
  • Functionalities of the driving system relate to specific driving tasks with a corresponding level of automation.
  • One functionality is, for example, SAE J3016 Level L3, which means conditionally automated highway driving.
  • L3 the driving system takes care of the longitudinal and lateral guidance and the monitoring of the surroundings, but the human driver remains a fallback.
  • Different functionalities have to be validated differently for the same driving task.
  • an L3 driving system is required, for example, to first follow the vehicle in front, to brake, and to stop.
  • an L4 driving system is required to first follow the vehicle in front, to brake, and if necessary to to stop, change lanes and drive past.
  • the driving system takes over the longitudinal and lateral guidance, the monitoring of the surroundings and the fallback level.
  • Validation refers to the testing of functionalities of an automated driving system in relation to a specific purpose.
  • the examination is carried out on the basis of a requirement profile drawn up beforehand. For example, a route that the automated driving system is supposed to drive automatically during the day is first traveled during the day by a vehicle driven by a human driver. The route is recorded by video, for example. This recording is now analyzed with regard to possible requirements that the automated driving system must meet on this route. For example, the route includes a roundabout. A requirement for the automated driving system is then, for example, to recognize a roundabout, for example the corresponding traffic signs, to enter and exit a roundabout, taking into account the applicable traffic regulations.
  • a control system comprising algorithms for environment recognition, trajectory planning and for deriving control and/or control signals and actuators for longitudinal and/or lateral guidance of the automated driving system is programmed and designed on this basis, for the purpose of driving during the day on this route, the driving task of the driving through the roundabout.
  • the validation it is checked whether the automated driving system fulfills this driving task for this purpose.
  • Many manual steps have to be taken from the customer inquiry to the offer, including, for example, the analysis of measurement data, which requires a lot of time and effort.
  • ODD Operational Design Domain
  • the customer requests an ODD analysis for an automated driving system.
  • a product owner collects recordings of driving scenarios for ODD analysis.
  • the collection of recordings usually the driving scenarios are run in, represents a large amount of work and can take several weeks.
  • Special test vehicles are used to import the data.
  • High-resolution maps are created from the recordings. Creating the maps can take several more weeks.
  • Driving scenarios are generated manually based on the maps. Generating the driving scenarios can take months. Based on the generated driving scenarios, the ODD analysis is carried out, which can take several more weeks.
  • DE 10 2020 205 310.3 discloses a method and a data structure for covering the defined parameter ranges and combinations of objects.
  • An unmanned aerial vehicle also known as a drone
  • a drone is an aircraft that can be operated and navigated autonomously by a computer or from the ground via a remote control without an on-board crew.
  • the text in this paragraph was taken from Wikipedia and is used under a CC-BY-SA license.
  • drones are used in military operations and commercial uses.
  • a computer engine is a framework for generating 3D worlds.
  • the computer engine controls and visualizes events and processes.
  • a computer game engine controls gameplay and visually displays the gameplay.
  • the computer engine includes a graphics engine for the graphic display, a physics system for visual realism in the 3D worlds, and a sound system for creating surround sound.
  • the object of the invention was how to improve the development and/or validation of functionalities of an automated driving system.
  • the invention provides a computer-implemented method for generating virtual routes and developing and/or validating functionalities of an automated driving system on the generated routes.
  • the procedure includes the steps
  • the images of the unmanned aircraft are the data source in the method according to the invention.
  • the unmanned aircraft can take the pictures automatically. This drastically reduces the time between customer request and data provision down to a few hours or days, for example.
  • the aerophotogrammetric survey again saves time, especially if the procedure is carried out cloud-based, for example.
  • the aerophotogrammetric survey includes a photogrammetric reconstruction of the recorded image material and the creation of virtual images.
  • the imaging sensor is a camera, alternatively the imaging sensor is a lidar and/or radar sensor.
  • camera recordings are combined with lidar recordings in the aerophotogrammetric survey, as a result of which 3D impressions are improved.
  • a further advantage of the method according to the invention is that ODD analyzes can be carried out more specifically and more quickly using the computer engine, for example within hours.
  • the computer engine is a 3D engine.
  • the graphics engine includes functions for loading, displaying and animating 3D models, for example 3D models of the automated driving system and/or infrastructure elements.
  • the physics system includes the simulation of Newtonian mechanics, surface physics and fluid dynamics.
  • the sound system generates emergency vehicle siren signals. In this way, an environment perception system of the automated driving system can be developed and/or validated based on acoustics.
  • the invention provides a computer program for generating virtual routes and developing and/or validating functionalities of an automated driving system on the generated routes.
  • the computer program includes instructions that cause a computer to carry out the method according to the invention when the computer runs the computer program.
  • the instructions of the computer program according to the invention include machine instructions, source text or object code written in assembly language, an object-oriented programming language, for example C++, in a procedural programming language, for example C, or in a hardware description language, for example for interconnecting elements of the hardware module according to the invention, for example an FPGA circuit.
  • the computer program is a hardware-independent application program that is provided for any hardware, for example via a data carrier or via a data carrier signal, according to one aspect using software over the air technology, for example via middleware.
  • the computer program can also be a hardware dependent program.
  • the computer program is executed by a remote computer or a remote computer system, for example a cloud computer or a cloud computer network.
  • the images of the real routes are transferred to a cloud storage.
  • the processing of the images, the computer engine and/or the development and/or validation of the functionalities in the cloud are carried out using cloud computing.
  • the images are transmitted, for example, using radio technology.
  • Cloud storage and cloud computing enable the processing of large amounts of data. For example, several unmanned aircraft can fly routes in one state or across states, for example worldwide.
  • the images are then transferred to one or more cloud storage devices, for example one per country, and processed there using cloud computing. This enables central processing.
  • specific details and/or rarely occurring cases are generated and/or run into driving scenarios.
  • these can be generated in the computer engine.
  • an automatic population and generation of driving situations and corner cases takes place in the computer engine.
  • identified gaps regarding ODDs in particular driving scenarios that have not yet been run in but are necessary for the validation, can be closed in a targeted manner, i.e. the corresponding ODDs can be generated in a targeted manner, and thus functions of the automated driving system can be fully developed and /or be validated.
  • the images are processed by machine learning algorithms that have been trained for object recognition, classification and/or localization.
  • Machine learning is a technology that teaches computers and other data processing devices to perform tasks by learning from data, rather than being programmed to do the tasks.
  • the machine learning algorithm learns from training data in, for example, monitored learning, relations between driving scenes and objects and/or the driving scenes determine. This means that on-site measurements on routes are no longer necessary.
  • the machine learning model is an artificial neural network. It is advantageous for the training that the computer that executes the machine learning algorithm includes a microarchitecture for executing processes in parallel in order to be able to train the artificial neural network with a large amount of data in a time-efficient manner. Graphics processors include such a microarchitecture.
  • a model of the automated driving system runs the driving scenarios in the computer engine. Operating functions, monitoring of a driving environment, trajectory planning and/or system errors of the automated driving system are validated, specifically in the computer engine, that is, for example, in a 3D simulation world.
  • the operational functions also called operational design domains, abbreviated ODD, include infrastructure, operating conditions, objects, connectivity and environmental conditions.
  • Infrastructure subclasses include, for example, road geometry, road surfaces, road types, road markings, including country-specific road markings.
  • Road geometry object attributes include curve, hill, straight, lane width.
  • Road surface object attributes include asphalt, concrete, mix, gravel, paved, unpaved, grass, pollution level, friction coefficient.
  • Object attributes for road types include motorways, federal roads, country roads, bridges, tunnels, each with multiple or one lane, intersections, roundabouts, lane junctions, road crossings.
  • Road marking object attributes include lane markings, lane markings.
  • Connectivity subclasses include V2V and V2X communication.
  • Object attributes for V2V and/or V2X communication include communication protocols, bandwidth, latency, stability, availability.
  • subclasses of environmental conditions include weather, lighting, and weather-related road conditions.
  • Weather object attributes include snow, wind, temperature, and rain.
  • Rain object attributes include drizzle, average rain, and heavy rain.
  • Object attributes for lighting include day, twilight, night, Street lighting, vehicle lights.
  • Object attributes for weather related road conditions include dry, wet, icy.
  • the monitoring of the driving environment also known as object and event detection and response, OEDR for short, includes, for example, object detection, event detection, recognition, classification and reaction to the object and/or event detection.
  • object detection include detecting vehicles, pedestrians, cyclists, animals, road signs, construction sites, and lane changes.
  • Vehicle object attributes include passenger vehicles, commercial vehicles, trucks, buses, motorcycles.
  • Traffic sign object attributes include minimum speed limit, maximum speed limit, stop signs, railroad crossings.
  • Subclasses of event detection include deceleration or acceleration of a vehicle in front, crossing of a street by a pedestrian.
  • Subclasses of responses include performing a lead vehicle tracking.
  • Trajectory planning i.e. maneuver behavior, includes driving behavior.
  • Subclasses of driving behavior include parking, maintaining speed, following vehicle, staying in lane, changing lanes, avoiding an obstacle, obeying traffic rules, navigating roundabouts, and planning a route.
  • System errors ie failure mode behaviors, include, for example, sensor errors, communication errors, perception errors, errors in navigation and regulation and/or control, errors in human-machine user interfaces.
  • sensor errors errors relating to functional safety according to ISO 2626.2 are included.
  • perception errors errors relating to the safety of the intended functions according to ISO/PAS 21448 are included.
  • Subclasses of sensor errors include hardware and software errors, such as power failure, data link failure. Sensors include radar, lidar, camera, sound, GPS, accelerometers, wheel sensors.
  • Subclasses of perceptual errors include software errors in data processing and image recognition algorithms.
  • Subclasses of errors in human-machine user interfaces, also called human machine interface, abbreviated HMI include errors in optical display devices.
  • the system errors of individual components of the driving system propagate to other components and the overall system, for example the drive system.
  • the system errors result in suboptimal performance of the driving system, e.g. the driving system drives slower than allowed based on a speed sign perception error, or the driving system performs unexpected or unsafe maneuvers, such as sudden acceleration or lane departure, or collisions occur.
  • These errors are recorded during trips and/or modeled in simulations and are included in the validation. For example, sensor noise or hardware errors are modeled.
  • the error is reacted to with fail-safe and/or fail-operational procedures.
  • the validated driving system will react to the errors with fail-safe or fail-operational depending on the situation.
  • An example of fail-safe is a safety stop. Fail-operational is, for example, driving at a reduced maximum speed.
  • One aspect of the invention relates to offering, for example as software-as-a-service, the method according to the invention and the computer program according to the invention to customers who request an automated driving system or routes required to validate the driving system.
  • the automation of the procedure results in an advantage in the offer finding, the development as well as the validation.
  • Software-as-a-Service means that user access to the method according to the invention and thus also to the computer program according to the invention is offered, for example in a cloud, for example by means of software-over- the Air.
  • the method according to the invention and the computer program according to the invention can thus be provided as cloud-based application software.
  • the cloud includes storage space, computing power and application software that are made available via internet-of-things technology. For example, the machine learning algorithms are trained and executed in the cloud.
  • Fig. 2 shows an embodiment of an unmanned aircraft
  • FIG. 3 shows an exemplary embodiment of a business model based on the method according to the invention.
  • real routes are measured aerophotogrammetrically in a method step V1.
  • an unmanned aircraft 1 or drone flies the real route.
  • the unmanned aircraft 1 carries, for example, five cameras as imaging sensors.
  • 3 shows another exemplary embodiment of an unmanned aircraft 1 .
  • At least 3D points are determined based on the images by means of photogrammetric reconstruction.
  • the images are processed by at least one environment perception algorithm.
  • the environment perception algorithm outputs identifications, classifications and/or localizations of infrastructure elements in the images.
  • the environment perception algorithm is, for example, a machine learning algorithm, for example an artificial neural network, for example a convolutional network, and is trained to recognize, classify and/or localize buildings, street signs, traffic signs, road markings, traffic junctions and/or crossing facilities as well as other vehicles.
  • Traffic junctions include, for example, roundabouts.
  • Crossing facilities include, for example, zebra crossings.
  • a method step V3 the 3D points and the detections, classifications and/or localizations are entered into a computer engine.
  • the computer engine generates the virtual routes from the entered data.
  • a method step V4 the functionalities of the automated driving system are developed and/or validated virtually by running in driving scenarios on the virtual routes.
  • the method described is used in a business model, for example in the form of validation as a service or also called validation-as-a-service.
  • the method can be offered as software-as-a-service, for example.
  • a customer for example a fleet operator of autonomous shuttles, requests an ODD analysis.
  • Real routes are flown by means of the unmanned aircraft 1 within a few days.
  • a 3D environment is automatically obtained within a few hours using aerophotogrammetry.
  • the ODDs can be analyzed within a few hours.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Computerimplementiertes Verfahren zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken umfassend die Schritte: aerofotogrammetrisches Vermessen von realen Fahrstrecken mittels wenigstens eines unbemannten Luftfahrzeugs (1), das wenigstens einen Bildgebungssensor (2) trägt, wobei das unbemannte Luftfahrzeug (1) die realen Fahrstrecken abfliegt, während des Abfliegens mittels des Bildgebungssensors (2) Bilder der realen Fahrstrecken erhalten werden und basierend auf den Bildern wenigstens 3D-Punkte bestimmt werden (V1); Prozessieren der Bilder durch wenigstens einen Umfeldwahrnehmungsalgorithmus und Erhalten von Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen umfassend Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen (V2); Eingeben der 3D-Punkte und der Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine und Generieren der virtuellen Fahrstrecken mittels der Computer-Engine (V3); Entwickeln und/oder Validieren der Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken (V4).

Description

Computerimplementiertes Verfahren und Computerprogramm zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken
Die Erfindung betrifft ein computerimplementiertes Verfahren und Computerprogramm zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken.
Die im Folgenden eingeführten Begriffe behalten ihre jeweilige Bedeutung für den gesamten Gegenstand der Erfindung.
Ein automatisiertes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines automatisierten Fahrzeuges auf Systemebene als auch das automatisierte Fahrzeug, beispielsweise ein PKW, LKW, Bus, people mover, ein Personal oder Group Rapid Transit System, Shuttle, Robotertaxi, als solches. Ein automatisiertes Fahrsystem umfasst zumindest eine Umfelderkennungseinheit, die das Umfeld wahrnimmt, eine Steuereinheit, die ausgehend von der Umfeldwahrnehmung Längs- und/oder Querführung des Fahrsystems regelt und/oder steuert und Trajektorien plant, und Aktuatoren, die in Abhängigkeit von Regel- und/oder Steuerungssignalen der Steuereinheit die Längs- und/oder Querführung des Fahrsystems steuern. Der Automatisierungsgrad kann vollautomatisiert/autonom umfassen.
Funktionalitäten des Fahrsystems betreffen bestimme Fahraufgaben bei einer entsprechenden Automatisierungsstufe. Eine Funktionalität ist beispielsweise eine SAE J3016 Level L3, das heißt bedingt automatisierte, Autobahnfahrt. Bei L3 übernimmt die Längs- und Querführung und die Umgebungsbeobachtung das Fahrsystem, der menschliche Fahrer bleibt aber Rückfallebene. Verschiedene Funktionalitäten müssen für die gleiche Fahraufgabe unterschiedlich validiert werden. Bei dem Ereignis, dass ein vorausfahrendes Fahrzeug am Abbremsen ist, wird von einem L3 Fahrsystem beispielsweise verlangt, dem vorausfahrenden Fahrzeug zunächst zu folgen, abzubremsen, und anzuhalten. Für das gleiche Ereignis wird von einem L4 Fahrsystem verlangt, dem vorausfahrenden Fahrzeug zunächst zu folgen, abzubremsen, ggf. anzuhalten, Spur zu wechseln und vorbeizufahren. Bei L4 übernimmt die Längs- und Querführung, die Umgebungsbeobachtung und die Rückfallebene das Fahrsystem.
Validierung bezieht sich auf die Prüfung von Funktionalitäten eines automatisierten Fahrsystems bezogen auf einen konkreten Einsatzzweck. Die Prüfung erfolgt auf Grundlage eines vorher aufgestellten Anforderungsprofils. Beispielsweise wird eine Strecke, die das automatisierte Fahrsystem bei Tag automatisiert fahren soll, zunächst bei Tag von einem Fahrzeug, das von einem menschlichen Fahrer gefahren wird, abgefahren. Dabei wird die Strecke beispielsweise per Video aufgezeichnet. Diese Aufzeichnung wird nun analysiert hinsichtlich möglichen Anforderungen, die das automatisierte Fahrsystem auf dieser Strecke erfüllen muss. Beispielsweise umfasst die Strecke einen Kreisverkehr. Eine Anforderung an das automatisierte Fahrsystem ist dann beispielsweise, einen Kreisverkehr zu erkennen, beispielsweise die entsprechenden Verkehrszeichen, in einen Kreisverkehr einzufahren und auszufahren unter Beachtung der geltenden Verkehrsvorschriften. Ein Steuerungssystem umfassend Algorithmen zur Umfelderkennung, Trajektorienplanung und zum Ableiten von Regel- und/oder Steuerungssignalen und Aktuatoren für Längs- und/oder Querführung des automatisierten Fahrsystems wird davon ausgehend programmiert und konzipiert, für den Einsatzzweck des Fahrens bei Tag auf dieser Strecke die Fahraufgabe des Fahrens durch den Kreisverkehr zu erfüllen. In der Validierung wird geprüft, ob das automatisierte Fahrsystem für diesen Einsatzzweck diese Fahraufgabe erfüllt. Von Kundenanfrage bis zum Angebot sind viele händische Schritte zu machen, umfassend beispielsweise Analyse von Messdaten, was viel Zeit und Aufwand erfordert.
Um die Einsatzfähigkeit von automatisierten Fahrsystemen auf verschiedensten Strecken oder Routen zu bewerten oder deren Betriebsfunktionen, auch Operational Design Domain, abgekürzt ODD, genannt, zu bewerten, wird eine Vielzahl von Strecken in der realen Welt benötigt, die alle definierten Parameterbereiche und Kombinatorik von Objekten abdeckt. Die ODD betrifft Betriebsbedingungen, unter denen ein bestimmtes automatisiertes Fahrsystem oder ein technisches Merkmal davon für eine bestimmte Funktionalität ausgelegt ist. Die ODD stellt einen Lösungsraum dar, für den der Einsatz von automatisierten Fahrsystemen vorgesehen ist. Die ODD beschreibt die Gesamtheit der Betriebsrahmenbedingungen, umfassend Route, Umweltbedingungen, Geschwindigkeiten und weitere Aspekte.
Im bekannten Stand der Technik fordert der Kunde eine ODD-Analyse für ein automatisiertes Fahrsystem an. Daraufhin sammelt ein Produkteigentümer Aufnahmen von Fahrszenarien zur ODD-Analyse. Das Sammeln von Aufnahmen, in der Regel werden die Fahrszenarien eingefahren, stellt einen großen Arbeitsaufwand dar und kann mehrere Wochen dauern. Zum Einfahren der Daten werden spezielle Testfahrzeuge eingesetzt. Aus den Aufnahmen werden hochauflösende Karten erstellt. Das Erstellen der Karten kann weitere mehrere Wochen beanspruchen. Basierend auf den Karten werden händisch Fahrszenarien generiert. Das Generieren der Fahrszenarien kann Monate in Anspruch nehmen. Basierend auf den generierten Fahrszenarien erfolgt die ODD-Analyse, was weitere mehrere Wochen in Anspruch nehmen kann.
Die DE 10 2020 205 310.3 offenbart ein Verfahren und eine Datenstruktur zur Abdeckung der definierten Parameterbereiche und Kombinatorik von Objekten.
Die DE 10 2021 201 177.2 offenbart eine Software zur automatisierten Generierung von plausiblen Strecken.
Bei der Aerophotogrammetrie werden im bekannten Stand der Technik die Fotografien mit flugzeuggetragenen, digitalen oder analogen Messbildkameras aufgenommen. Es entstehen meist regelmäßige, streifenweise angeordnete Bildverbände, in denen sich benachbarte Bilder deutlich überlappen. Die Bildverbände werden orientiert, also in ein gemeinsames Koordinatensystem transformiert. Die Orientierung der Bildverbände erfolgt anhand von Pass- und Verknüpfungspunkten im Rahmen einer Bündelblockausgleichung. Aus den orientierten Bildern können Folgeprodukte wie 3D-Punkte, digitale Geländemodelle (DGM), Orthofotos etc. , abgeleitet werden. Die Ergebnisse der Aerophotogrammetrie dienen der Erstellung und Fortführung topographischer Karten und Orthofotos, der großmaßstäbigen Punktbestimmung in Liegen- schaftskatastern und zur Flurbereinigung. Es können auch digitale Geländemodelle (DGM) aus den Daten abgeleitet werden. Die Landnutzungserhebung sowie Umwelt- und Leitungskataster profitieren ebenfalls von den Resultaten der Aerophotogrammetrie. Der Text dieses Absatzes wurde aus Wikipedia entnommen und unterliegt der CC-BY-SA-Lizenz.
Ein unbemanntes Luftfahrzeug, auch Drohne genannt, ist ein Luftfahrzeug, das ohne eine an Bord befindliche Besatzung autark durch einen Computer oder vom Boden über eine Fernsteuerung betrieben und navigiert werden kann. Der Text dieses Absatzes wurde aus Wikipedia entnommen und unterliegt der CC-BY-SA-Lizenz. Im bekannten Stand der Technik werden Drohnen in militärischen Operationen und kommerziellen Nutzungen eingesetzt.
Eine Computer-Engine ist ein Framework zur Erzeugung von 3D-Welten. Die Computer-Engine steuert und visualisiert Geschehnisse und Abläufe von Prozessen. Beispielsweise steuert eine Computer-Spiel-Engine einen Spielverlauf und stellt den Spielablauf visuell dar. Die Computer-Engine umfasst eine Grafik-Engine für die grafische Darstellung, ein Physiksystem zum visuellem Realismus in den 3D-Welten und ein Soundsystem zum Erzeugen von Raumklang.
Aufgabe der Erfindung war es, wie man die Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems verbessern kann.
Die Gegenstände der Ansprüche 1 und 6 lösen jeweils diese Aufgabe.
Nach einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren bereit zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken. Das Verfahren umfasst die Schritte
• aerofotogrammetrisches Vermessen von realen Fahrstrecken mittels wenigstens eines unbemannten Luftfahrzeugs, das wenigstens einen Bildgebungs- sensor trägt, wobei das unbemannte Luftfahrzeug die realen Fahrstrecken abfliegt, während des Abfliegens mittels des Bildgebungssensors Bilder der realen Fahrstrecken erhalten werden und basierend auf den Bildern wenigstens 3D-Punkte bestimmt werden; • Prozessieren der Bilder durch wenigstens einen Umfeldwahrnehmungsalgo- rithmus und Erhalten von Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen umfassend Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen;
• Eingeben der 3D-Punkte und der Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine und Generieren der virtuellen Fahrstrecken mittels der Computer-Engine;
• Entwickeln und/oder Validieren der Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken.
Im Gegensatz zum bekannten Stand der Technik sind bei dem erfindungsgemäßen Verfahren die Bilder des unbemannten Luftfahrzeuges, beispielsweise einer Drohne, die Datenquelle. Das unbemannte Luftfahrzeug kann die Bilder automatisiert aufnehmen. Damit wird die Zeit zwischen Kundenanforderung und Datenbereitstellung drastisch reduziert bis beispielsweise auf einige Stunden oder Tage. Je mehr unbemannte Luftfahrzeuge eingesetzt werden, desto schneller können die Daten bereitgestellt werden. Die aerofotogram metrische Vermessung spart erneut Zeit ein, insbesondere wenn das Verfahren beispielsweise Cloud basiert durchgeführt wird. Die aerofotogrammetrische Vermessung umfasst eine fotogrammetrische Rekonstruktion des erfassten Bildmaterials und die Erstellung von virtuellen Abbildern.
Nach einem Aspekt ist der Bildgebungssensor eine Kamera, alternativ ist der Bildge- bungssensor ein Lidar- und/oder Radarsensor.
Nach einem Aspekt werden bei der aerofotogrammetrischen Vermessung Kameraaufnahmen mit Lidaraufnahmen kombiniert, wodurch 3D Eindrücke verbessert werden. Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist, dass ODD-Analysen mittels der Computer-Engine spezifischer und schneller durchgeführt werden können, beispielsweise innerhalb von Stunden.
Die Computer-Engine ist beispielsweise eine 3D-Engine. Die Grafik-Engine umfasst Funktionen zum Laden, Darstellen und Animieren von 3D-Modellen, beispielsweise von 3D-Modellen des automatisierten Fahrsystems und/oder von Infrakstrukturele- menten. Das Physiksystem umfasst die Simulation der Newtonschen Mechanik, Oberflächenphysik und Strömungslehre. Das Soundsystem erzeugt nach einem Aspekt Sirenensignale von Rettungsfahrzeugen. Damit kann ein Umfeldwahrnehmungs- system des automatisierten Fahrsystems basierend auf Akustik entwickelt und/oder validiert werden.
Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, das erfindungsgemäße Verfahren auszuführen, wenn der Computer das Computerprogramm ausführt.
Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, in einer prozeduralen Programmiersprache, beispielsweise C, oder in einer Hardwarebeschreibungssprache, beispielsweise zur Verschaltung von Elementen des erfindungsgemäßen Hardwaremoduls, beispielsweise eines FPGA Schaltkreises. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder über ein Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Das Computerprogramm kann auch ein Hardware abhängiges Programm sein. Nach einem weiteren Aspekt wird das Computerprogramm von einem Remote-Computer oder einem Remote-Computersystem, beispielsweise einem Cloud-Computer oder einem Cloud-Computernetz- werk, ausgeführt.
Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele. Nach einem Aspekt werden die Bilder der realen Fahrstrecken in einen Cloud-Spei- cher übertragen. Das Prozessieren der Bilder, die Computer-Engine und/oder das Entwickeln und/oder Validieren der Funktionalitäten in der Cloud werden mittels Cloud-Computing ausgeführt. Die Bilder werden beispielsweise mittels Funktechnologie übertragen. Cloud-Speicher und Cloud Computing ermöglichen die Bearbeitung großer Datenmengen. Beispielsweise können mehrere unbemannte Luftfahrzeuge Fahrstrecken in einem Staat oder Staaten übergreifend, beispielsweise weltweit, abfliegen. Die Bilder werden dann in einen oder mehrere Cloud-Speicher, beispielsweise pro Staat einen, übertragen und dort mittels Cloud-Computing bearbeitet. Dies ermöglicht eine zentrale Verarbeitung.
Nach einem weiteren Aspekt werden Fahrszenarien spezifische Einzelheiten und/oder selten auftretende Fälle, sogenannte Cornercases, generiert und/oder eingefahren werden. Insbesondere, wenn noch keine Comercases eingefahren wurden, können diese in der Computer-Engine generiert werden. Damit kann bereits in der frühen Aquisitionsphase ein hohes Maß an Konfidenz erreicht werden als auch in der Entwicklung bereits überprüft werden, welche Fahrszenarien spezifischen Einzelheiten problematisch werden können. Nach einem weiteren Aspekt erfolgt in der Computer- Engine eine automatische Population und Generation von Fahrsituationen und Cornercases. Damit können ausgehend von einer Lückenanalyse, auch gap analysis genannt, betreffend ODDs identifizierte Lücken, insbesondere noch nicht eingefahrene, aber für die Validierung notwendigen, Fahrszenarien, gezielt geschlossen, das heißt die entsprechenden ODDs gezielt generiert, und damit Funktionen des automatisierten Fahrsystems vollumfänglich entwickelt und/oder validiert werden.
Nach einem weiteren Aspekt werden die Bilder durch Maschinenlernalgorithmen prozessiert, die auf Objekterkennungen, -klassifizierungen und/oder -lokalisierungen trainiert wurden. Maschinelles Lernen ist eine Technologie, die Computern und anderen Datenverarbeitungsvorrichtungen die Ausführung von Aufgaben durch Lernen aus Daten lehrt, anstatt für die Aufgaben programmiert zu werden. Der Maschinenlernal- gorithmus lernt auf Trainingsdaten in einem beispielsweisen überwachten Lernen, Relationen zwischen Fahrszenen und Objekten und/oder der Fahrszenen zu bestimmen. Damit sind Vor-Ort-Messungen auf Strecken nicht mehr notwendig. Das Maschinenlernmodell ist beispielsweise ein künstliches neuronales Netzwerk. Für das Training ist es vorteilhaft, dass der Computer, der den Maschinenlernalgorithmus ausführt, eine Mikroarchitektur zum parallelisierten Ausführen von Prozessen umfasst, um das künstliche neuronale Netzwerk mit einer großen Anzahl an Daten zeiteffizient trainieren zu können. Graphikprozessoren umfassen eine derartige Mikroarchitektur.
Nach einem weiteren Aspekt fährt in der Computer-Engine ein Modell des automatisierten Fahrsystems die Fahrszenarien ein. Betriebsfunktionen, Überwachungen eines Fahrumfeldes, Trajektorienplanungen und/oder Systemfehler des automatisierten Fahrsystems werden validiert, und zwar in der Computer-Engine, das heißt beispielsweise in einer 3D Simulationswelt.
Die Betriebsfunktionen, auch operational design domains, abgekürzt ODD, genannt, umfassen Infrastruktur, Betriebsbedingungen, Objekte, Konnektivität und Umweltbedingungen. Unterklassen der Infrastruktur umfassen beispielsweise Straßengeometrie, Straßenoberflächen, Straßenarten, Straßenmarkierungen, auch länderspezifische Straßenmarkierungen. Objektattribute für Straßengeometrien umfassen Kurve, Hügel, geradlinig, Spurbreite. Objektattribute für Straßenoberflächen umfassen Asphalt, Beton, Mischung, Kies, befestigt, nicht befestigt, Gras, Verschmutzungsgrad, Reibwert. Objektattribute für Straßenarten umfassen Autobahn, Bundesstraße, Landstraße, Brücke, Tunnels, jeweils mehr- oder einspurig, Kreuzungen, Kreisverkehre, Spurzusammenführungen, Straßenüberquerungen. Objektattribute für Straßenmarkierungen umfassen Spurmarkierungen, Fahrbahnmarkierungen. Unterklassen der Konnektivität umfassen V2V und V2X Kommunikation. Objektattribute für V2V und/oder V2X Kommunikation umfassen Kommunikationsprotokolle, Bandbreite, Latenzzeiten, Stabilität, Verfügbarkeit. Als ein weiteres Beispiel umfassen Unterklassen der Umweltbedingungen Wetter, Beleuchtung und Wetter bedingte Straßenbedingungen. Objektattribute für Wetter umfassen Schnee, Wind, Temperatur und Regen. Objektattribute für Regen umfassen Nieselregen, Durchschnittsregen und Starkregen. Objektattribute für Beleuchtung umfassen Tag, Dämmerung, Nacht, Straßenbeleuchtung, Fahrzeugleuchten. Objektattribute für Wetter bedingte Straßenbedingungen umfassen trocken, nass, vereist.
Die Überwachung des Fahrumfeldes, auch object and event detection and response, abgekürzt OEDR, genannt, umfasst beispielsweise Objektdetektierung, Ereignisde- tektierung, Erkennung, Klassifikation und Reaktion auf die Objekt- und/oder Ereig- nisdetektierung. Unterklassen der Objektdetektierung umfassen Detektieren von Fahrzeugen, Fußgängern, Fahrradfahrern, Tieren, Verkehrszeichen, Baustellen und Spuränderungen. Objektattribute von Fahrzeugen umfassen Passagierfahrzeuge, Nutzfahrzeuge, Lastfahrzeuge, Busse, Motorräder. Objektattribute von Verkehrszeichen umfassen minimale Geschwindigkeitsbegrenzung, maximale Geschwindigkeitsbegrenzung, Stopp-Schilder, Bahnüberquerungen. Unterklassen der Ereignisdetek- tierung umfassen Abbremsen oder Beschleunigen eines vorausfahrenden Fahrzeuges, Überqueren einer Straße eines Fußgängers. Unterklassen der Reaktionen umfassen Ausführen einer Verfolgung eines vorausfahrenden Fahrzeuges.
Die Trajektorienplanung, das heißt maneuver behavior, umfasst Fahrverhalten. Unterklassen des Fahrverhaltens umfassen Parken, Geschwindigkeit Halten, Fahrzeug Folgen, in der Spur Fahren, Spurwechsel, einem Hindernis ausweichen, Verkehrsregeln Beachten, Kreisverkehre Navigieren und Routenplanung.
Systemfehler, das heißt failure mode behaviors, umfassen zum Beispiel Sensorfehler, Kommunikationsfehler, Wahrnehmungsfehler, Fehler in Navigation und Regelung und/oder Steuerung, Fehler in Mensch-Maschinen-Benutzungsschnittstellen. Hinsichtlich Sensorfehler sind Fehler betreffend die funktionale Sicherheit nach ISO 2626.2 umfasst. Hinsichtlich Wahrnehmungsfehler sind Fehler betreffend die safety of the intended functions nach ISO/PAS 21448 umfasst. Unterklassen der Sensorfehler umfassen Hardware- und Softwarefehler, beispielsweise Stromausfall, Ausfall einer Datenverbindung. Sensoren umfassen Radar, Lidar, Kamera, Schall, GPS, Beschleunigungssensoren, Radsensoren. Unterklassen der Wahrnehmungsfehler umfassen Softwarefehler von Algorithmen zum Prozessieren von Daten und zur Bilderkennung. Unterklassen der Fehler in Mensch-Maschinen-Benutzungsschnittstellen, auch human machine interface, abgekürzt HMI, genannt, umfassen Fehler in optischen Anzeigevorrichtungen. Die Systemfehler einzelner Komponenten des Fahrsystems, beispielsweise Fehler des Perzeptionssystems, pflanzen sich auf andere Komponenten und das Gesamtsystem fort, beispielsweise das Antriebssystem. Die Systemfehler resultieren in einer suboptimalen Performanz des Fahrsystems, beispielsweise fährt das Fahrsystem langsamer als erlaubt basierend auf einem Wahrnehmungsfehler eines Geschwindigkeitsschildes, oder das Fahrsystem führt unerwartete oder unsichere Manöver aus, beispielsweise plötzliches Beschleunigen oder Verlassen der Fahrspur, oder es kommt zu Kollisionen. Diese Fehler werden während Fahrten aufgezeichnet und/oder in Simulationen modelliert und gehen in die Validierung ein. Beispielsweise werden Sensorrauschen oder Hardwarefehler modelliert. Auf die die Fehler wird mit fail-safe und/oder fail-operational Verfahren reagiert. Das validierte Fahrsystem wird auf die Fehler situationsbedingt mit fail-safe oder fail- operational reagieren. Fail-safe ist beispielsweise ein Sicherheitsstopp. Fail-operatio- nal ist beispielsweise Fahren mit verringerter Maximalgeschwindigkeit.
Betriebsfunktionen, Überwachungen eines Fahrumfeldes, Trajektorienplanungen und/oder Systemfehler des automatisierten Fahrsystems, deren jeweilige Unterklassen und Attribute, und beliebige Kombinationen untereinander werden in der Computer-Engine basierend auf den aerofotogrammetrischen Vermessungen der realen Fahrstrecken generiert. Dies ermöglicht eine umfassende, automatisierte Validierung automatisiertet Fahrsysteme.
Ein Aspekt der Erfindung betrifft das Anbieten, beispielsweise als Software-as-a-Ser- vice, des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Computerprogramms an Kunden, die ein automatisiertes Fahrsystem oder zum Validieren des Fahrsystems erforderliche Fahrstrecken anfordern. Damit kann automatisiertes/auto- nomes Fahren zügig in den Markt gebracht werden. Durch die Automatisierung des Verfahrens ergibt sich ein Vorteil in der Angebotsfindung, der Entwicklung als auch der Validierung.
Software-as-a-Service bedeutet, dass ein Nutzungszugang zu dem erfindungsgemäßen Verfahren und damit auch zu dem erfindungsgemäßen Computerprogramm beispielsweise in einer Cloud angeboten werden, beispielsweise mittels Software-over- the-Air. Das erfindungsgemäße Verfahren und das erfindungsgemäße Computerprogramm können damit als eine Cloud-basierte Anwendungssoftware bereitgestellt. Die Cloud umfasst Speicherplatz, Rechenleistung und Anwendungssoftware, die über in- ternet-of-things-Technik verfügbar gemacht werden. Beispielsweise werden die Ma- schinenlernalgorithmen in der Cloud trainiert und ausgeführt.
Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,
Fig. 2 ein Ausführungsbeispiel eines unbemannten Luftfahrzeuges und
Fig. 3 ein Ausführungsbeispiel eines Geschäftsmodells basierend auf dem erfindungsgemäßen Verfahren.
In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
In Fig. 1 werden in einem Verfahrensschritt V1 reale Fahrstrecken aerofotogrammetrisch vermessen. Hierzu fliegt ein unbemanntes Luftfahrzeug 1 oder Drohne die reale Fahrstrecke ab. Wenigstens ein Bildgebungssensor 2, der von dem unbemannten Luftfahrzeug 1 getragen wird, macht dabei Bilder von den Fahrstrecken oder einzelnen Segmenten der Fahrstrecken.
In Fig. 2 trägt das unbemannte Luftfahrzeug 1 beispielsweise fünf Kameras als Bild- gebungssensoren. Fig. 3 zeigt ein weiteres Ausführungsbeispiel eines unbemannten Luftfahrzeuges 1 .
Basierend auf den Bildern werden mittels fotogrammetrischer Rekonstruktion wenigstens 3D-Punkte bestimmt. In einem Verfahrensschritt V2 werden die Bilder durch wenigstens einen Umfeldwahrnehmungsalgorithmus prozessiert. Der Umfeldwahrnehmungsalgorithmus gibt Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen in den Bildern aus. Der Umfeldwahrnehmungsalgorithmus ist beispielsweise ein Ma- schinenlernalgorithmus, beispielsweise ein künstliches neuronales Netzwerk, beispielsweise ein Faltungsnetzwerk, und ist trainiert, Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen zu erkennen, klassifizieren und/oder lokalisieren als auch weitere Fahrzeuge. Verkehrsknotenpunkte umfassen beispielsweise Kreisverkehre. Querungsanlagen umfassen beispielsweise Zebrastreifen.
In einem Verfahrensschritt V3 werden die 3D-Punkte und die Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine eingegeben. Die Computer-Engine generiert aus den eingegebenen Daten die virtuellen Fahrstrecken.
In einem Verfahrensschritt V4 werden die Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken virtuell entwickelt und/oder validiert.
In Fig. 3 wird das beschriebene Verfahren in einem Geschäftsmodell, beispielsweise in Form von Validierung als Dienstleistung oder auch validation-as-a-service genannt, angewendet. Das Verfahren kann beispielsweise als Software-as-a-Service angeboten werden.
Ein Kunde, beispielsweise ein Flottenbetreiber von autonomen Shuttles, fordert eine ODD Analyse an. Innerhalb weniger Tage werden reale Fahrstrecken mittels des unbemannten Luftfahrzeuges 1 abgeflogen. Ausgehend von dem Bildmaterial wird mittels Aerofotogrammetrie innerhalb einiger Stunden automatisiert eine 3D Umgebung erhalten. In dieser 3D Umgebung können die ODDs innerhalb weniger Stunden analysiert werden. Bezugszeichen
1 unbemanntes Luftfahrzeug
2 Bildgebungssensor
V1 -V4 Verfahrensschritte

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken umfassend die Schritte
• aerofotogrammetrisches Vermessen von realen Fahrstrecken mittels wenigstens eines unbemannten Luftfahrzeugs (1 ), das wenigstens einen Bildge- bungssensor (2) trägt, wobei das unbemannte Luftfahrzeug (1 ) die realen Fahrstrecken abfliegt, während des Abfliegens mittels des Bildgebungs- sensors (2) Bilder der realen Fahrstrecken erhalten werden und basierend auf den Bildern wenigstens 3D-Punkte bestimmt werden (V1 );
• Prozessieren der Bilder durch wenigstens einen Umfeldwahrnehmungsalgo- rithmus und Erhalten von Erkennungen, Klassifizierungen und/oder Lokalisierungen von Infrastrukturelementen umfassend Gebäude, Straßenschilder, Verkehrsschilder, Straßenmarkierungen, Verkehrsknotenpunkte und/oder Querungsanlagen (V2);
• Eingeben der 3D-Punkte und der Erkennungen, Klassifizierungen und/oder Lokalisierungen in eine Computer-Engine und Generieren der virtuellen Fahrstrecken mittels der Computer-Engine (V3);
• Entwickeln und/oder Validieren der Funktionalitäten des automatisierten Fahrsystems durch Einfahren von Fahrszenarien auf den virtuellen Fahrstrecken (V4).
2. Verfahren nach Anspruch 1 , wobei die Bilder der realen Fahrstrecken in einen Cloud-Speicher übertragen werden und das Prozessieren der Bilder, die Computer- Engine und/oder das Entwickeln und/oder Validieren der Funktionalitäten in der Cloud mittels Cloud-Computing ausgeführt werden.
3. Verfahren nach einem der vorangehenden Ansprüche, wobei Fahrszenarien spezifische Einzelheiten und/oder selten auftretende Fälle generiert und/oder eingefahren werden.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bilder durch Ma- schinenlernalgorithmen prozessiert werden, die auf Objekterkennungen, -klassif izie- rungen und/oder -lokalisierungen trainiert wurden.
5. Verfahren nach einem der vorangehenden Ansprüche, wobei in der Computer-Engine ein Modell des automatisierten Fahrsystems die Fahrszenarien einfährt und Betriebsfunktionen, Überwachungen eines Fahrumfeldes, Trajektorienplanungen und/oder Systemfehler des automatisierten Fahrsystems validiert werden.
6. Computerprogramm zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken umfassend Befehle, die einen Computer veranlassen, das Verfahren nach einem der vorangehenden Ansprüche auszuführen, wenn der Computer das Computerprogramm ausführt.
EP22761515.0A 2021-08-11 2022-08-04 Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken Withdrawn EP4384915A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021208738.8A DE102021208738A1 (de) 2021-08-11 2021-08-11 Computerimplementiertes Verfahren und Computerprogramm zur Generierung von virtuellen Fahrstrecken und Entwicklung und/oder Validierung von Funktionalitäten eines automatisierten Fahrsystems auf den generierten Fahrstrecken
PCT/EP2022/071968 WO2023016919A1 (de) 2021-08-11 2022-08-04 Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken

Publications (1)

Publication Number Publication Date
EP4384915A1 true EP4384915A1 (de) 2024-06-19

Family

ID=83149567

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22761515.0A Withdrawn EP4384915A1 (de) 2021-08-11 2022-08-04 Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken

Country Status (3)

Country Link
EP (1) EP4384915A1 (de)
DE (1) DE102021208738A1 (de)
WO (1) WO2023016919A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117370484B (zh) * 2023-12-07 2024-02-13 广州斯沃德科技有限公司 一种轨迹信息的处理方法、装置、电子设备及介质
CN118915704B (zh) * 2024-10-10 2025-01-17 安胜（天津）飞行模拟系统有限公司 一种基于虚拟相机的智能辅助驾驶可靠性测试方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10705184B2 (en) 2016-02-29 2020-07-07 Hitachi, Ltd. Sensor calibration system
DE102018213844A1 (de) 2018-08-17 2020-02-20 Robert Bosch Gmbh Verfahren zum Testen einer zumindest teilautomatisierten Fahrfunktion für Kraftfahrzeuge
DE102019206908B4 (de) 2019-05-13 2022-02-17 Psa Automobiles Sa Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Computerprogrammprodukt, Kraftfahrzeug sowie System
DE102019119566A1 (de) 2019-07-18 2019-10-17 FEV Group GmbH Verfahren zum automatisierten Erstellen eines Datensatzes über spezifische Merkmale des Verhaltens von Verkehrsteilnehmern in einer Verkehrssituation
KR102826629B1 (ko) * 2019-11-20 2025-06-27 팅크웨어(주) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
DE102020103201A1 (de) 2020-02-07 2020-03-26 FEV Group GmbH Verfahren zum von Testszenarios für ADAS
DE102020205310A1 (de) 2020-04-27 2021-10-28 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum Bereitstellen einer Datenstruktur für die Streckenkomplexitätserfassung und Validierung von Funktionalitäten eines automatisierten Fahrsystems, derartige Datenstruktur, Computer zum Validierung von Funktionalitäten eines automatisierten Fahrsystems, Computerprogramm zum Bereitstellen einer derartigen Datenstruktur und computerlesbarer Datenträger
DE102021201177A1 (de) 2021-02-09 2022-08-11 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogramm zur Generierung von Fahrstrecken für ein automatisiertes Fahrsystem

Also Published As

Publication number Publication date
WO2023016919A1 (de) 2023-02-16
DE102021208738A1 (de) 2023-02-16

Similar Documents

Publication Publication Date Title
DE102012222053B4 (de) Verfahren zum Anzeigen eines Geisterbilds an einer transparenten Frontscheiben-Head-Up-Anzeige in einem Quellenfahrzeug
DE102019102205A1 (de) System und verfahren zur end-to-end-validierung von autonomen fahrzeugen
DE102015116882B4 (de) Verbindungswahrscheinlichkeitsmodellbildung und Folgerung der Kreuzungsstruktur
DE112020003897T5 (de) Systeme und verfahren zur überwachung von fahrspurüberlastung
DE112022000380T5 (de) Systeme und verfahren zur einheitlichen geschwindigkeitskartierung und navigation
DE102020103509A1 (de) Erkennung und vermeidung von kollisionsverhalten
DE102020104862A1 (de) Erstellung von Inferenzmodellen für computergestützte (CA)/autonom fahrende (AD) Fahrzeuge
DE112018005340T5 (de) Informationsverarbeitungsvorrichtung, fahrzeug, mobiles objekt, informationsverarbeitungsverfahren und programm
US11620419B2 (en) Systems and methods for identifying human-based perception techniques
DE112020004566T5 (de) Sicherheitsmodul, automatisiertes fahrsystem und verfahren dafür
DE102014220678A1 (de) Fahrzeug-fernüberwachung
DE102016100416A1 (de) Prüfstand für virtuelle Sensoren
DE102019119162A1 (de) Posenschätzung
DE102016119128A1 (de) Fahrbahnbegrenzungsdetektions-Datenerzeugung in virtueller Umgebung
DE102014220681A1 (de) Verkehrssignalvorhersage
WO2018197122A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
DE102020127855A1 (de) Sicherheitssystem, automatisiertes fahrsystem und verfahren dafür
DE60121944T2 (de) Verfahren und vorrichtung zum anzeigen von navigationsinformationen im echtzeitbetrieb
DE102021201177A1 (de) Computerimplementiertes Verfahren und Computerprogramm zur Generierung von Fahrstrecken für ein automatisiertes Fahrsystem
DE102016207276A1 (de) Verfahren zur Freigabe einer Fahrfunktion in einem Fahrzeug
EP4384915A1 (de) Computerimplementiertes verfahren und computerprogramm zur generierung von virtuellen fahrstrecken und entwicklung und/oder validierung von funktionalitäten eines automatisierten fahrsystems auf den generierten fahrstrecken
DE102020205310A1 (de) Computerimplementiertes Verfahren zum Bereitstellen einer Datenstruktur für die Streckenkomplexitätserfassung und Validierung von Funktionalitäten eines automatisierten Fahrsystems, derartige Datenstruktur, Computer zum Validierung von Funktionalitäten eines automatisierten Fahrsystems, Computerprogramm zum Bereitstellen einer derartigen Datenstruktur und computerlesbarer Datenträger
DE102020122356A1 (de) Standortbasierter fahrzeugbetrieb
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
DE102019107329A1 (de) Aktionskonditionierte fahrzeugsteuerung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240920