DE102017107396B4

DE102017107396B4 - Test procedure and test device for driver assistance systems

Info

Publication number: DE102017107396B4
Application number: DE102017107396.5A
Authority: DE
Inventors: Benedikt Schonlau; Thomas Ludwig; Christopher Harmening
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2017-04-06
Filing date: 2017-04-06
Publication date: 2021-03-25
Anticipated expiration: 2037-04-07
Also published as: DE102017107396A1

Abstract

Verfahren zum Test eines umfeldbasierten Assistenzsystems, wobei wenigstens ein virtuelles Testfahrzeug (7), das in eine Umfeldsimulation (15) eingebettet ist, simuliert wird, wobei die simulierte Bewegung des virtuellen Testfahrzeuges (7) durch eine geplante, vordefinierte Bewegungstrajektorie beschrieben ist, auf welche ein Algorithmus, der die Funktion des zu testenden Assistenzsystems abbildet, Einfluss nimmt, wobei dem Algorithmus Daten virtueller Objekte einer Verkehrsumgebung aus der Umfeldsimulation (15) bereitgestellt werden, welche das Ausgangsverhalten des Algorithmus und somit dessen Einfluss auf die geplante, vordefinierte Bewegungstrajektorie des virtuellen Testfahrzeuges (7) bestimmen und eine aus dieser Überlagerung entstehende resultierende Bewegungstrajektorie des virtuellen Testfahrzeuges (7) erzeugen, wobei das virtuelle Testfahrzeug (7) und die virtuellen Objekte einer Verkehrsumgebung aus der Umfeldsimulation (15) in einem Testgelände (1) einer Testperson (2) visualisiert werden, wobei wenigstens die Position der Testperson (2) innerhalb des Testgeländes (1) mit einer Sensorik (6) erfasst wird und aus wenigstens den Positionsdaten der Testperson (2) ein virtuelles Objekt (9) der Testperson (2) gebildet wird, wobei die Positionsdaten des virtuellen Objektes (9) der Testperson (2) in lagerichtige Relation zur Darstellung des virtuellen Testfahrzeuges (7) synchronisiert werden, so dass die durch die Visualisierung (10) erzeugte Wahrnehmung des Testfahrzeuges (7) aus Sicht der Testperson (2) lagerichtig synchronisiert zur Lage des virtuellen Objekts (9) der Testperson (2) in der Simulation erfolgt, so dass Positionsänderungen der Testperson (2) im Testgelände (1) eine entsprechende Änderung der Position des virtuellen Objektes (9) der Testperson (2) in der Simulationsumgebung (8) bewirken, wobei die Position und/oder die Änderung der Position des virtuellen Objektes (9) der Testperson (2) Eingangsgröße des die zu testende Funktion abbildenden Algorithmus ist und somit durch die Position oder die Änderung der Position des in der Simulationsumgebung (8) erzeugten virtuellen Objektes (9) der Testperson (2) das simulierte Ausgangsverhalten des die zu testende Funktion abbildenden Algorithmus beeinflusst wird, wobei gleichzeitig für die Testperson (2) eine zur Simulation lagerichtige Visualisierung (10) der Umfeldsimulation (15) und wenigstens des virtuellen Testfahrzeuges (7) erfolgt, so dass die aus der Überlagerung der Einflüsse des Assistenzsystems und aus der geplanten vordefinierten Bewegungstrajektorie resultierende Bewegungstrajektorie des virtuellen Testfahrzeuges (7) in der Umfeldsimulation (15) durch die Testperson (2) lagerichtig zur Simulation wahrnehmbar ist.Method for testing an environment-based assistance system, wherein at least one virtual test vehicle (7), which is embedded in an environment simulation (15), is simulated, the simulated movement of the virtual test vehicle (7) being described by a planned, predefined movement trajectory on which an algorithm that maps the function of the assistance system to be tested influences, the algorithm being provided with data on virtual objects of a traffic environment from the environment simulation (15), which the initial behavior of the algorithm and thus its influence on the planned, predefined movement trajectory of the virtual test vehicle (7) and generate a resulting movement trajectory of the virtual test vehicle (7) resulting from this superposition, the virtual test vehicle (7) and the virtual objects of a traffic environment from the environment simulation (15) in a test site (1) of a test person (2) visu at least the position of the test person (2) within the test site (1) is recorded with a sensor system (6) and a virtual object (9) of the test person (2) is formed from at least the position data of the test person (2), the position data of the virtual object (9) of the test person (2) being synchronized in the correct position relative to the representation of the virtual test vehicle (7), so that the perception of the test vehicle (7) generated by the visualization (10) from the perspective of the test person (2 ) synchronized in the correct position with the position of the virtual object (9) of the test person (2) in the simulation, so that changes in position of the test person (2) in the test area (1) result in a corresponding change in the position of the virtual object (9) of the test person (2) in the simulation environment (8), the position and / or the change in the position of the virtual object (9) of the test person (2) being the input variable of the algorithm mapping the function to be tested ithmus and thus the simulated output behavior of the algorithm representing the function to be tested is influenced by the position or the change in the position of the virtual object (9) of the test person (2) created in the simulation environment (8), whereby at the same time for the test person (2 ) a positionally correct visualization (10) of the environment simulation (15) and at least of the virtual test vehicle (7) takes place, so that the movement trajectory of the virtual test vehicle (7) resulting from the superimposition of the influences of the assistance system and the planned, predefined movement trajectory in the Environment simulation (15) can be perceived by the test person (2) in the correct position for the simulation.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung sowie ein Computerprogramm und ein Computerprogrammprodukt zum Testen umfeldbasierter Fahrerassistenzsysteme mit den Merkmalen gemäß der unabhängigen Patentansprüche.The present invention relates to a method and a device as well as a computer program and a computer program product for testing environment-based driver assistance systems with the features according to the independent claims.

Für die Entwicklung von Fahrerassistenzsystemen ist deren reproduzierbare Erprobung ein wichtiger Faktor. Beginnend bereits in der Konzeptphase der Entwicklung ist es von Vorteil, die Funktion und Wirkungsweise der Assistenzsysteme in Simulationen zu erproben. Hierbei werden z. B. einzelne Szenen oder eine Folge von Szenen aus der Realwelt in einer Simulation umgesetzt und das Verhalten der zu testenden Assistenzsysteme wird unter diesen Testbedingungen erprobt. Die simulative Erprobung ermöglicht dabei eine weitgehende Reproduzierbarkeit. Weiterhin werden Tests unter realen Verkehrsbedingungen oder der Bau von Prototypen minimiert und auf eine spätere seriennahe Testphase verschoben. Simulative Tests erlauben weiterhin eine Erprobung frei von Risiken für beteiligte Personen und/oder Fahrzeuge, was insbesondere bei Assistenzsystemen, welche Sicherheitsfunktionen beinhalten, die eine Fahrzeugkollision mit Objekten, Fahrzeugen oder Fußgängern vermeiden sollen, wichtig ist. Die Simulation nutzt dabei als Eingangsgröße Umfelddaten, welche zu den jeweiligen Szenen oder Szenenfolgen gehören. Diese können z. B. bei Testfahrten gemessen und aufgezeichnet oder synthetisch erzeugt werden, indem ein Datengenerator zu einer virtuellen Szene die zugehörigen Umfelddaten breitstellt.Reproducible testing is an important factor in the development of driver assistance systems. Starting in the concept phase of development, it is advantageous to test the function and effectiveness of the assistance systems in simulations. Here z. B. individual scenes or a sequence of scenes from the real world implemented in a simulation and the behavior of the assistance systems to be tested is tested under these test conditions. The simulative testing enables extensive reproducibility. Furthermore, tests under real traffic conditions or the construction of prototypes are minimized and postponed to a later test phase close to series production. Simulative tests also allow testing free of risks for the persons and / or vehicles involved, which is particularly important in assistance systems that contain safety functions that are intended to avoid a vehicle collision with objects, vehicles or pedestrians. The simulation uses environmental data as an input variable, which belong to the respective scenes or scene sequences. These can e.g. B. can be measured and recorded during test drives or generated synthetically by a data generator for a virtual scene provides the associated environment data.

Verschiedene Simulationsverfahren sind dabei Stand der Technik. Einen beispielhaften Überblick gibt Neumann-Cosel in „Virtual Test Drive Simulation von umfeldbasierten Fahrzeugfunktionen“ Diss. TU München 2013 (VON NEUMANN-COSEL, Kilian: Virtual Test Drive Simulation umfeldbasierter Fahrzeugfunktionen. Dissertation, Technische Universität München, Lehrstuhl für Echtzeitsysteme und Robotik, 2013). Zum Test von Assistenzsystemen werden dabei Komponenten oder Simulationsmodelle in einen Regelkreis verschalten. Es werden Eingangssignale vorgegeben und die Reaktion der Komponente oder Modelle am Ausgang wird beobachtet und ggf. an ein nachfolgendes System weitergeleitet. Man unterscheidet begrifflich einzelne Simulationstypen in Abhängigkeit der Nutzung von Modellen, Komponenten, Fahrern oder vom Umfeld im jeweiligen Simulationsverfahren.Various simulation methods are state of the art. Neumann-Cosel gives an exemplary overview in "Virtual Test Drive Simulation of Environment-Based Vehicle Functions" Diss. TU Munich 2013 (VON NEUMANN-COSEL, Kilian: Virtual Test Drive Simulation of Environment-Based Vehicle Functions. Dissertation, Technical University of Munich, Chair for Real-Time Systems and Robotics, 2013 ). To test assistance systems, components or simulation models are interconnected in a control loop. Input signals are specified and the reaction of the component or model at the output is observed and, if necessary, passed on to a subsequent system. Conceptually, a distinction is made between individual simulation types depending on the use of models, components, drivers or the environment in the respective simulation process.

Ein Test der grundsätzlichen Wirkungsweise einer Assistenzfunktion kann am Beginn einer Entwicklung mit einer SIL-Simulation (Software in the Loop) durchgeführt werden. Hier können die Algorithmen der Funktion erprobt werden, ohne auf die später genutzte Sensorik oder Aktuatorik zurückzugreifen. Zum Generieren der Eingangsdaten für die Algorithmen der Assistenzfunktion müssen die Signale der später im Fahrzeug vorhandenen Umfeldsensoren synthetisiert werden. Dies kann z. B. im Zusammenspiel mit einer Umfeldsimulation erfolgen, in welcher simulierte Verkehrsszenarien ablaufen und daraus Eingangsgrößen für die Simulation gebildet werden. In einem einfachen Beispiel könnte dies ein vorausfahrendes Fahrzeug mit seiner Lage und Bewegung z. B. zur Erprobung eines ACC-Algorithmus sein. Die Simulation benötigt zum Test der Algorithmen die Eingangsgrößen, welche aus der Umfeldsimulation abgeleitet werden. Diese kann mit Hilfe von Sensormodellen erfolgen, welche in der Simulation die später im Fahrzeug vorhandenen Sensoren ersetzen und deren Verhalten modellieren. Am Ausgang eines Sensormodells z. B. eines Modells für einen Radarsensor zur Abstandsregelung können Geschwindigkeit, Abstand und Relativlage von Objekten als Eingangsgrößen zur Simulation der Algorithmen der Assistenzsysteme zur Verfügung gestellt werden. In der Simulation erfolgt nun basierend auf den Eingangsdaten eine Reaktion des Assistenzsystems, z. B. die Vorgabe einer negativen Beschleunigung zur Erhöhung des Abstandes. Die Simulation kann hierfür ein Aktormodell und ein Fahrdynamikmodell enthalten. Im Aktormodell wird z. B. die Eingangsgröße der Beschleunigung in einen Bremsdruck umgesetzt und das folgende Fahrdynamikmodell erzeugt basierend auf dem Bremsdruckverlauf das Verhalten des Ego-Fahrzeugs, wobei dessen Bewegung in einem Regelkreis mit der Umfeldsimulation verschalten wird. Somit können alle Szenarien, welche durch die Umfeldsimulation vorgegeben werden, in ihrer Auswirkung auf das simulierte Fahrzeugverhalten beobachtet werden. Assistenzfunktionen können somit in einer Simulationsumgebung reproduzierbar erprobt, appliziert und validiert werden.A test of the basic mode of operation of an assistance function can be carried out at the beginning of a development with a SIL simulation (software in the loop). The algorithms of the function can be tested here without resorting to the sensors or actuators that will be used later. To generate the input data for the algorithms of the assistance function, the signals from the environment sensors that will later be present in the vehicle must be synthesized. This can e.g. B. can be done in conjunction with an environment simulation in which simulated traffic scenarios run and input variables for the simulation are formed from them. In a simple example, this could be a preceding vehicle with its position and movement z. B. be for testing an ACC algorithm. To test the algorithms, the simulation requires the input variables that are derived from the environment simulation. This can be done with the help of sensor models, which replace the sensors later in the vehicle in the simulation and model their behavior. At the output of a sensor model z. B. a model for a radar sensor for distance control, the speed, distance and relative position of objects can be made available as input variables for simulating the algorithms of the assistance systems. In the simulation, the assistance system reacts based on the input data, e.g. B. the specification of a negative acceleration to increase the distance. For this purpose, the simulation can contain an actuator model and a vehicle dynamics model. In the actuator model z. B. the input variable of the acceleration is converted into a brake pressure and the following vehicle dynamics model generates the behavior of the ego vehicle based on the brake pressure curve, its movement being interconnected in a control loop with the environment simulation. This means that all scenarios that are specified by the environment simulation can be observed in their effect on the simulated vehicle behavior. Assistance functions can thus be reproducibly tested, applied and validated in a simulation environment.

Werden die Algorithmen der Assistenzfunktion auf einer Zielhardware z. B. einem später im Serienfahrzeug genutzten Steuergerät portiert und wird dieses anstelle des Algorithmus in eine echtzeitfähige Simulationsumgebung eingebettet, spricht man von einer HIL-Simulation (Hardware in the Loop). Auf diese Weise können auch reale Sensoren oder Aktoren in die Simulation einbezogen werden.Are the algorithms of the assistance function on a target hardware z. B. ported to a control unit used later in the series vehicle and this is embedded in a real-time simulation environment instead of the algorithm, this is called an HIL simulation (hardware in the loop). In this way, real sensors or actuators can also be included in the simulation.

Zur Erprobung der Wirkung der Assistenzsysteme auf den Fahrer z. B. zur Bewertung der Mensch-Maschine-Schnittstelle können in einer weiteren Simulationsart Testfahrten unter Laborbedingungen nachgestellt werden. Ein Testfahrer sitzt dabei in einem Fahrsimulator. Aus der Umfeldsimulation werden Szenen generiert, welche im Regelkreis mit dem Fahrsimulator, auf dem die Algorithmen des Assistenzsystems ablaufen, interagieren, wobei dem Fahrer z. B. die realen Ausgaben des MMI bereitgestellt werden. Zeitlich synchronisiert wird die Szene für den Fahrer visualisiert, so dass er entsprechend die simulierte Szene und die Reaktion der Fahrzeugkomponenten z. B. MMI im Zusammenspiel erleben kann. Diese Art der Simulation wird als DIL-Simulation bezeichnet (Driver in the Loop).To test the effect of the assistance systems on the driver z. B. to evaluate the human-machine interface, test drives under laboratory conditions can be simulated in another type of simulation. A test driver sits in a driving simulator. Scenes are generated from the environment simulation, which interact in the control loop with the driving simulator on which the algorithms of the assistance system run. B. the real outputs of the MMI to be provided. The scene is visualized for the driver in a chronologically synchronized manner, so that he can use the simulated scene and the reaction of the vehicle components e.g. B. can experience MMI in interaction. This type of simulation is called DIL simulation (Driver in the Loop).

Eine realitätsnahe Simulation kann mit einer VIL-Simulation erfolgen. (Vehicle in the Loop) Hierbei fährt der Fahrer auf einer Teststrecke ein reales Fahrzeug. Dem Fahrer werden über eine optische Visualisierung, z. B. über eine VR-Brille Bilder einer Verkehrsszene oder auch nur einzelne Objekte daraus eingeblendet. Der Fahrer sieht damit virtuelle Verkehrsobjekte, welche gleichzeitig z. B. über Sensormodelle für das Fahrzeug eingekoppelt werden, so dass dieses trotz leerer Teststrecke auf die dem Fahrer visualisierten Objekte reagiert. Die Bewegung des realen Fahrzeuges und die Blickrichtung des Fahrers werden in der Visualisierung und der Umgebungssimulation berücksichtigt. Die virtuellen Objekte werden ggf. nach einem entsprechenden Szenario durch die Umfeldsimulation gesteuert. Ihre Visualisierung wird entsprechend der Fahrbewegung des Realfahrzeuges angepasst und die entsprechenden Sensordaten werden für das Realfahrzeug bereitgestellt. Der Fahrer ist damit in der Lage, die Funktion des Assistenzsystems anhand der Reaktion des Fahrzeuges, indem er sich befindet, wahrzunehmen. Die Simulation wird durch die Fahrbewegung des Fahrers beeinflusst. Das zu testende Assistenzsystem muss sich dabei im Fahrzeug befinden, wobei der umliegende Verkehr simuliert wird.A realistic simulation can be carried out with a VIL simulation. (Vehicle in the Loop) Here the driver drives a real vehicle on a test track. The driver is informed about an optical visualization, z. B. over a VR glasses images of a traffic scene or just individual objects from it. The driver thus sees virtual traffic objects, which at the same time z. B. can be coupled in via sensor models for the vehicle so that it reacts to the objects visualized to the driver despite the empty test track. The movement of the real vehicle and the direction of view of the driver are taken into account in the visualization and the environment simulation. If necessary, the virtual objects are controlled by the environment simulation according to a corresponding scenario. Your visualization is adapted according to the driving movement of the real vehicle and the corresponding sensor data are provided for the real vehicle. The driver is thus able to perceive the function of the assistance system based on the reaction of the vehicle in which he is located. The simulation is influenced by the driving movement of the driver. The assistance system to be tested must be located in the vehicle, with the surrounding traffic being simulated.

Vorbekannt ist weiterhin aus der DE 102 56 612 B3 eine Vorrichtung zum Fahrertraining, bei dem einem Fahrer eine simulierte, virtuelle Gefahrensituation lagerichtig zu seiner Umwelt eingeblendet wird. Es wird die Kopfposition und Blickrichtung des Fahrers verfolgt, um eine virtuelle Realität der normalen Fahrumgebung lagerichtig überlagern zu können. Die Reaktion des Fahrers auf die virtuelle Gefahrenlage soll dabei beobachtet bzw. trainiert werden.It is still known from the DE 102 56 612 B3 a device for driver training in which a driver is shown a simulated, virtual dangerous situation in the correct position in relation to his environment. The driver's head position and line of sight are tracked in order to be able to overlay a virtual reality of the normal driving environment in the correct position. The driver's reaction to the virtual danger situation should be observed or trained.

Weiterhin vorbekannt ist aus der DE 10 2006 044 086 B4 eine Software-in-the-loop-Simulation, bei der einem Referenzfahrzeug, welches beispielsweise auch durch Algorithmen zur Abstandsregelung gesteuert werden kann, als Eingangsgrößen weitere Objekte simuliert werden, deren Bahnverlauf stochastischen oder deterministischen Modellen folgt. Es ist weiterhin vorgesehen, dass ein Bediener über eine Schnittstelle von außen auf die Simulation eingreifen kann, indem er einzelne virtuelle Objekte manuell steuert.It is also known from the DE 10 2006 044 086 B4 a software-in-the-loop simulation in which a reference vehicle, which can also be controlled by algorithms for distance control, for example, is simulated as input variables with further objects whose trajectory follows stochastic or deterministic models. It is also provided that an operator can intervene in the simulation from outside via an interface by manually controlling individual virtual objects.

Aus der DE 10 2014 015 871 A1 ist es bekannt, einem Fahrer über eine VR- oder AR-Brille virtuelle Inhalte im Fahrzeug anzuzeigen, wobei neben der Blickrichtung des Fahrers auch die Position der Brille im Fahrzeug in der Darstellung berücksichtigt wird. In vorteilhafter Weise wird eine Sensorik zur Gestenerkennung genutzt, um die Position der Brille im Fahrzeug zu ermitteln. Die Positionsbestimmung verbessert dabei die Darstellung virtueller Objekte, so dass z. B. zusätzliche Warnhinweise an einer bestimmten Position im Fahrzeug angezeigt werden können, indem die Position der Brille bei der Darstellung der virtuellen Inhalte berücksichtigt wird.From the DE 10 2014 015 871 A1 It is known to display virtual content in the vehicle to a driver via VR or AR glasses, the position of the glasses in the vehicle also being taken into account in the display in addition to the driver's line of sight. A sensor system for gesture recognition is advantageously used in order to determine the position of the glasses in the vehicle. The position determination improves the representation of virtual objects, so that z. B. additional warnings can be displayed at a certain position in the vehicle by taking the position of the glasses into account when displaying the virtual content.

Aus der DE 10 2007 053 501 A1 ist eine Simulationsumgebung bekannt, in welcher eine Verkehrssimulation im Wesentlichen ohne Eingriff eines Bedieners erfolgt, in welcher Fahrzeug, Fahrer und weitere Modelle eines Verkehrsraumes in ihrer Interaktion simuliert werden und über eine Visualisierung anzeigbar sind.From the DE 10 2007 053 501 A1 a simulation environment is known in which a traffic simulation takes place essentially without intervention by an operator, in which vehicle, driver and other models of a traffic area are simulated in their interaction and can be displayed via a visualization.

DE 10 2004 057 947 A1 beschreibt ein Verfahren zur Funktionsprüfung eines Fahrerassistenzsystems. Hierfür fährt ein Testfahrer mit einem realen Fahrzeug in einer realen Fahrzeugumgebung und es werden dem Testfahrer virtuelle Objekte über eine VR-Brille oder die Windschutzscheibe in Art einer „Augmented Reality“ angezeigt. Der Fahrer kann damit auf die virtuellen Objekte reagieren. Seine Reaktion sowie die Bewegung in der realen Fahrzeugumgebung werden ermittelt. Zum Test des Fahrerassistenzsystems werden die Daten der virtuellen, dem Fahrer angezeigten Objekte als reale Objektdaten den Sensoren des Testfahrzeuges eingespeist, so dass eine Reaktion des Fahrzeuges bzw. des Fahrerassistenzsystems auf die virtuellen Objekte erfolgen kann. DE 10 2004 057 947 A1 describes a method for functional testing of a driver assistance system. For this purpose, a test driver drives a real vehicle in a real vehicle environment and virtual objects are displayed to the test driver via VR glasses or the windshield in the manner of "augmented reality". The driver can thus react to the virtual objects. Its reaction as well as the movement in the real vehicle environment are determined. To test the driver assistance system, the data of the virtual objects displayed to the driver are fed into the sensors of the test vehicle as real object data so that the vehicle or the driver assistance system can react to the virtual objects.

In der DE 100 47 082 A1 ist ein Simulationssystem beschrieben, in welchem ein Fahrzeug und eine Umfeldsimulation auf verschiedenen Rechnern miteinander kommunizieren und eine closed loop Simulation eines Längsreglers auf einer weiteren verbundenen Spezialhardware erfolgt.In the DE 100 47 082 A1 describes a simulation system in which a vehicle and an environment simulation communicate with one another on different computers and a closed-loop simulation of a series regulator is carried out on further connected special hardware.

In der DE 10 2004 017 755 A1 ist eine satellitengestützte Navigation beschrieben, bei welcher auf einem mobilen Endgerät einem Nutzer ein virtuelles Modell des Geländes angezeigt wird, in welchem sich der Nutzer bewegt. Durch Erfassung der Position des Nutzers kann seine Position innerhalb des virtuellen Modells angezeigt werden. Verändert der Nutzer seinen Standort, so verändert sich auch dessen Lokalisierung im virtuellen Modell.In the DE 10 2004 017 755 A1 describes satellite-based navigation in which a user is shown a virtual model of the terrain in which the user is moving on a mobile device. By detecting the position of the user, his position within the virtual model can be displayed. If the user changes his location, his localization in the virtual model also changes.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, welche das Testen eines umfeldbasierten Fahrerassistenzsystems bereits in seiner Entwicklungsphase flexibler, effektiver und sicherer gestaltet. Dabei soll gefahrfrei insbesondere eine Fußgängerperspektive realitätsnah wahrnehmbar sein.The object of the present invention is to create a method and a device which make the testing of an environment-based driver assistance system more flexible, more effective and safer as early as its development phase. In particular, a pedestrian perspective should be realistically perceptible in this context.

Diese Aufgabe wird mittels eines Verfahrens gemäß dem Patentanspruch 1 sowie mit einer Vorrichtung gemäß Anspruch 7 sowie einem Computerprogramm und einem Computerprogrammprodukt gemäß der Ansprüche 9 und 10 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen und den Ausführungsbeispielen beschrieben.This object is achieved by means of a method according to claim 1 and a device according to claim 7 as well as a computer program and a computer program product according to claims 9 and 10. Advantageous further developments are described in the subclaims and the exemplary embodiments.

Das erfindungsgemäße Verfahren dient zum Test eines umfeldbasierten Assistenzsystems. Diese umfeldbasierten Assistenzsysteme werden durch Informationen aus der Umwelt stimuliert, indem sie über Sensoren Umfeldinformationen aufnehmen. Die Assistenzsysteme interagieren dabei mit einem Fahrzeug und/oder Fahrer, wobei sie in einem einfachen Fall z. B. einen Warnhinweis auf eine bevorstehende Kollision anzeigen. Die umfeldbasierten Assistenzsysteme können Aktoren ansteuern, Fahrzeugfunktionen beeinflussen oder auch komplexe Steueraktionen ausführen, wie z. B. ein Fahrzeug teil- oder gänzlich autonom führen. Für das erfindungsgemäße Verfahren ist das Assistenzsystem dabei in eine Simulationsumgebung eingebettet. Es kann als Software oder Hardware in the loop simulierter Algorithmus ablaufen. Das Testverfahren weist dafür eine Umfeldsimulation auf, in welcher wenigstens ein virtuelles Testfahrzeug simuliert wird. Die Umfeldsimulation kann dabei einen Verkehrsraum aufweisen, der weitere virtuelle Objekte, wie Straßen, Markierungen, Hindernisse usw. aufweist. Zusätzlich können in der Umfeldsimulation weitere Objekte der Verkehrsinfrastruktur wie z. B. Ampeln als virtuelle Objekte dargestellt werden. Die Darstellung kann mit einer erweiterten Funktion zur Interaktion einer Testperson mit den virtuellen Objekten verbunden sein. Eine virtuelle Ampel kann durch die Testperson betätigt werden und es kann deren Anzeige für die Testperson visualisiert werden. Die zu simulierende Bewegung des virtuellen Testfahrzeugs wird im Ausgangspunkt der Simulation durch eine geplante, vordefinierte Bewegungstrajektorie beschrieben. Dies kann in einem einfachen Fall eine Geradeausfahrt mit einer konstanten Geschwindigkeit sein. Das zu testende Assistenzsystem beeinflusst das Verhalten des virtuellen Testfahrzeuges. Die zu testende Funktion des Assistenzsystems ist dabei in einem Algorithmus verwirklicht, der in der Simulationsumgebung ausgeführt/simuliert wird. Hierfür werden dem Algorithmus Daten aus der Umfeldsimulation bereitgestellt, welche das Ausgangsverhalten des Algorithmus und somit dessen Einfluss auf die geplante, vordefinierte Bewegungstrajektorie des virtuellen Testfahrzeuges oder alternativ eine andere Fahrzeugfunktion beeinflussen. Wird ein Assistenzsystem getestet, welches vorzugsweise Richtung und/oder Geschwindigkeit des virtuellen Testfahrzeuges beeinflusst, so entsteht aus der geplanten Bewegungstrajektorie und dem Eingriff des Assistenzsystems z. B. auf Lenkung und/oder Bremse eine aus der Überlagerung dieser Einflüsse auf das virtuelle Testfahrzeug entstehende, resultierende Bewegungstrajektorie, welcher dieses in der Simulation folgt. Das virtuelle Testfahrzeug und weitere Objekte der Umfeldsimulation werden in einem Testgelände wenigstens einer Testperson visualisiert. Dies kann z. B. durch eine Umfeldprojektion oder durch eine VR-Brille erfolgen. Es wird dabei wenigstens die Position der Testperson innerhalb des Testgeländes mit einer Sensorik erfasst. Diese Sensorik kann aus einer oder mehreren Kameras, Radarsensoren, optischen Sensoren oder anderen bildgebenden Sensoren bestehen. Zur Positionsermittlung können mehrere ggf. unterschiedliche Sensoren genutzt werden, die z. B. über eine Triangulation der Entfernungsmessung zur Positionsbestimmung ausgewertet werden. Weiterhin kann eine Größen- und/oder Geschwindigkeitserfassung erfolgen. Die Testperson kann alternativ oder zusätzlich eine Positionsmarkierung tragen, welche durch die Sensorik angepeilt wird. Es ist alternativ möglich, dass die Sensorik zur Positionsbestimmung von der Person selbst getragen wird und diese ihre Positionsdaten zur Weiterverarbeitung in der Simulationsumgebung an diese übermittelt. Aus den Positionsdaten der Testperson wird in der Simulationsumgebung ein virtuelles Objekt der Testperson gebildet. Somit wird die Testperson durch ihr virtuelles Objekt in der Simulationsumgebung „sichtbar“. Die Position des virtuellen Objektes wird dabei in lagerichtige Relation zur Darstellung des virtuellen Testfahrzeuges synchronisiert, so dass die durch die Visualisierung erzeugte Wahrnehmung aus Sicht der Testperson lagerichtig synchronisiert zur Lage des virtuellen Objekts der Testperson in der Simulation erfolgt. Die Synchronisation erfolgt derart, dass die Relativlage des virtuellen Objektes der Testperson zu den virtuellen Objekten der Umfeldsimulation und zum virtuellen Testfahrzeug dem entspricht, was der Testperson in der Visualisierung dargestellt wird. Die Lageorientierung der virtuellen Simulationsumgebung und der Darstellung im Testgelände werden somit in Übereinstimmung gebracht. Weiterhin erfolgen die Simulation, Positionserfassung und Übertragung in die Simulationsumgebung sowie die Visualisierung für die Testperson zeitlich synchronisiert. Positionsänderungen der Testperson im Testgelände haben daher eine entsprechende gleichzeitige Änderung der Position des virtuellen Objektes der Testperson in der Simulationsumgebung zur Folge. Die Position und ggf. weitere die Testperson beschreibende Merkmale wie Ausdehnung, Bewegungsrichtung und Geschwindigkeit werden als Eigenschaften des virtuellen Objektes der Testperson an die Simulationsumgebung übergeben und sind Eingangsgrößen für die zu testende Funktion. In Abhängigkeit von den Eigenschaften des virtuellen Objektes können diese hinsichtlich ihrer Erfassungsgüte in der Abbildung variieren. So kann z. B. eine Positionsungenauigkeit bei einem sich schnell bewegenden Objekt mit abgebildet werden, so dass ein virtuelles Objekt oder das aus einem realen Objekt z. B. der Testperson gebildete virtuelle Objekt mit einer Positionsunschärfe in der Simulationsumgebung abgebildet wird. Eine rennende Testperson wird so z. B. ungenauer abgebildet als eine sich langsam bewegende.The method according to the invention is used to test an environment-based assistance system. These environment-based assistance systems are stimulated by information from the environment in that they record information about the environment via sensors. The assistance systems interact with a vehicle and / or driver. B. display a warning about an imminent collision. The environment-based assistance systems can control actuators, influence vehicle functions or even carry out complex control actions, such as B. drive a vehicle partially or completely autonomously. For the method according to the invention, the assistance system is embedded in a simulation environment. It can run as software or hardware in the loop simulated algorithm. For this purpose, the test method has an environment simulation in which at least one virtual test vehicle is simulated. The environment simulation can have a traffic area that has further virtual objects, such as roads, markings, obstacles, etc. In addition, further objects of the traffic infrastructure such as B. traffic lights are displayed as virtual objects. The representation can be connected to an extended function for the interaction of a test person with the virtual objects. A virtual traffic light can be operated by the test person and its display can be visualized for the test person. The movement of the virtual test vehicle to be simulated is described in the starting point of the simulation by a planned, predefined movement trajectory. In a simple case, this can be driving straight ahead at a constant speed. The assistance system to be tested influences the behavior of the virtual test vehicle. The function of the assistance system to be tested is implemented in an algorithm that is executed / simulated in the simulation environment. For this purpose, the algorithm is provided with data from the environment simulation, which influence the initial behavior of the algorithm and thus its influence on the planned, predefined movement trajectory of the virtual test vehicle or, alternatively, another vehicle function. If an assistance system is tested, which preferably influences the direction and / or speed of the virtual test vehicle, the planned movement trajectory and the intervention of the assistance system result in e.g. B. on steering and / or brakes a resulting movement trajectory resulting from the superposition of these influences on the virtual test vehicle, which this follows in the simulation. The virtual test vehicle and other objects of the environment simulation are visualized in a test area of at least one test person. This can e.g. B. be done by a projection of the environment or by VR glasses. At least the position of the test person within the test area is recorded with a sensor system. This sensor system can consist of one or more cameras, radar sensors, optical sensors or other imaging sensors. Several different sensors may be used to determine the position. B. be evaluated via a triangulation of the distance measurement to determine the position. Furthermore, size and / or speed can be recorded. As an alternative or in addition, the test person can wear a position marker that is targeted by the sensor system. It is alternatively possible that the sensor system for determining the position is carried by the person himself and that the person transmits their position data to them for further processing in the simulation environment. A virtual object of the test person is formed in the simulation environment from the position data of the test person. Thus, the test person becomes “visible” through their virtual object in the simulation environment. The position of the virtual object is synchronized in the correct position in relation to the representation of the virtual test vehicle, so that the perception generated by the visualization from the test person's point of view is correctly synchronized with the position of the test person's virtual object in the simulation. The synchronization takes place in such a way that the relative position of the test person's virtual object to the virtual objects of the environment simulation and to the virtual test vehicle corresponds to what is shown to the test person in the visualization. The orientation of the virtual simulation environment and the representation in the test area are thus brought into agreement. Furthermore, the simulation, position detection and transfer to the simulation environment as well as the visualization for the test person are time-synchronized. Changes in the test person's position in the test site therefore result in a corresponding simultaneous change in the position of the test person's virtual object in the simulation environment. The position and, if applicable, other features that describe the test person, such as extent, direction of movement and speed, are transferred to the simulation environment as properties of the test person's virtual object and are input variables for the function to be tested. Depending on the properties of the virtual object, these can vary in terms of their detection quality in the image. So z. B. a positional inaccuracy in a fast moving object can be mapped, so that a virtual object or that from a real object z. B. the test person formed virtual object is mapped with a positional uncertainty in the simulation environment. A running test person is z. B. less accurate than a slowly moving one.

Der die Funktion abbildende Algorithmus wird durch die Position oder weiterführend durch die Änderung der Position des in der Simulationsumgebung erzeugten virtuellen Objektes der Testperson hinsichtlich seines simulierten Ausgangsverhaltens beeinflusst. Gleichzeitig erfolgt für die Testperson eine zur Simulation lagerichtige Visualisierung der Umfeldsimulation und wenigstens des virtuellen Testfahrzeuges. Es wird die Bewegung des Testfahrzeuges aus der Überlagerung der Einflüsse des Assistenzsystems auf die geplanten vordefinierten Bewegungstrajektorien durch die resultierende Bewegungstrajektorie des virtuellen Testfahrzeuges abgebildet und fusioniert mit den Daten der Umfeldsimulation der Testperson lagerichtig zur Simulation visualisiert.The algorithm depicting the function is influenced by the position or, furthermore, by the change in the position of the test person's virtual object generated in the simulation environment with regard to its simulated initial behavior. At the same time, the environment simulation and at least the virtual test vehicle are visualized in the correct position for the simulation. The movement of the test vehicle from the superposition of the influences of the assistance system on the planned, predefined movement trajectories is mapped by the resulting movement trajectory of the virtual test vehicle and is visualized in the correct position for the simulation, merged with the data from the environment simulation of the test person.

In einer vorteilhaften Ausführung des Testverfahrens entspricht die geplante vordefinierte Bewegungstrajektorie des virtuellen Testfahrzeuges einem definierten Testszenario zur Bewertung von umfeldbasierten Assistenzsystemen. Typische Testszenarien können dabei in einer Art Datenbank abgelegt sein. Diese kann in einem einfachen Fall einfache zu fahrende Bahnkurven enthalten oder komplexe Verkehrsszenarien mit weiteren Objekten. Das Testszenario ist dabei so aufbereitet, dass es Eingangsdaten für die Umfeldsimulation und die Simulation des virtuellen Testfahrzeuges generiert, welche weiterhin für die Testperson visualisierbar sind.In an advantageous embodiment of the test method, the planned, predefined movement trajectory of the virtual test vehicle corresponds to a defined test scenario for evaluating environment-based assistance systems. Typical test scenarios can be stored in a kind of database. In a simple case, this can contain simple trajectories to be driven or complex traffic scenarios with other objects. The test scenario is prepared in such a way that it generates input data for the environment simulation and the simulation of the virtual test vehicle, which can still be visualized for the test person.

Erfindungsgemäß vorteilhaft erfolgt die Positionserfassung der Testperson im Testgelände durch eine Sensorik. Die Position wird in einem definierten Koordinatensystem des Testgeländes ermittelt oder relativ zu definierten Fixpunkten im Testgelände beschrieben. Die Positionsbeschreibung ist dabei in die Simulationsumgebung übertragbar. Es erfolgt eine lagerichtige Synchronisation zwischen Simulationsumgebung und Testgelände. Die Position der Testperson wird auf eine entsprechende Position des virtuellen Objektes der Testperson abgebildet und es erfolgt eine dazu synchronisierte lagerichtige Visualisierung des virtuellen Testfahrzeuges und der Umfeldsimulation. Die Visualisierung für die Testperson erfolgt lagerichtig synchronisiert, so als würde sich die Testperson an der entsprechenden Stelle im virtuellen Testszenario befinden.According to the invention, the position of the test person in the test area is advantageously detected by a sensor system. The position is determined in a defined coordinate system of the test area or described relative to defined fixed points in the test area. The position description can be transferred to the simulation environment. There is a positionally correct synchronization between the simulation environment and the test site. The position of the test person is mapped onto a corresponding position of the test person's virtual object and a synchronized, positionally correct visualization of the virtual test vehicle and the environment simulation takes place. The visualization for the test person is synchronized in the correct position, as if the test person were at the corresponding point in the virtual test scenario.

Erfindungsgemäß vorteilhaft wird in einer bevorzugten Ausführung der Erfindung eine ortsfeste bildgebende oder den Abstand messende Sensorik genutzt, welche wenigstens die Position der Testperson ermittelt. Für eine weitergehende Verarbeitung wird zu den Positionsdaten ein virtuelles Objekt in der Simulationsumgebung erzeugt, das mindestens durch seine Position im Testgelände gekennzeichnet ist. Das virtuelle Objekt der Testperson kann weitere Parameter aufweisen, die dessen Größe und/oder Geschwindigkeit und/oder Bewegungsrichtung kennzeichnen. In einem weiteren Verarbeitungsschritt wird das virtuelle Objekt der Testperson lagerichtig in die Simulationsumgebung eingefügt.According to the invention, in a preferred embodiment of the invention, a stationary imaging or distance-measuring sensor system is used which determines at least the position of the test person. For further processing, a virtual object is generated in the simulation environment for the position data, which is at least characterized by its position in the test site. The virtual object of the test person can have further parameters which characterize its size and / or speed and / or direction of movement. In a further processing step, the test person's virtual object is inserted into the simulation environment in the correct position.

In einer weiteren Ausgestaltung der Erfindung werden zusätzlich zur Position der Testperson weitere reale Objekte im Testgelände erfasst und als virtuelle Objekte in die Simulation eingefügt. Es ist damit möglich, z. B. auf einer Teststrecke mit einer vorgegebenen Spurmarkierung die Simulation des virtuellen Testfahrzeugs anzupassen, indem die Fahrspurmarkierungen als virtuelle Objekte dem virtuellen Testfahrzeug bereitgestellt werden. Das virtuelle Fahrzeug kann somit entsprechend der Spurlage simuliert und lagerichtig zur Spurlage des Testgeländes der Testperson z. B. mittels Augmented Reality visualisiert werden.In a further embodiment of the invention, in addition to the position of the test person, further real objects are recorded in the test site and inserted into the simulation as virtual objects. It is thus possible, for. B. to adapt the simulation of the virtual test vehicle on a test track with a predetermined lane marking by providing the lane markings as virtual objects to the virtual test vehicle. The virtual vehicle can thus be simulated according to the lane position and in the correct position to the lane position of the test area of the test person z. B. be visualized using augmented reality.

Weiterhin ist es möglich, weitere Elemente einer realen Verkehrsinfrastruktur z. B. eine Fußgängerampel zu erfassen. Diese wird gleichfalls als virtuelles Objekt in die Simulationsumgebung lagerichtig eingebunden. Hierbei können weitere Eigenschaften der Verkehrsinfrastruktur als virtuelles Objekt übergeben werden z. B. kann für eine Fußgängerampel deren Lichtsignal erfasst werden, so dass ein virtuelles Testfahrzeug auf das virtuelle Objekt der realen Verkehrsinfrastruktur in der Simulation reagieren kann. Des Weiteren ist es möglich, zusätzliche Sensorquellen z. B. von Smart-Devices an die Simulationsumgebung anzubinden. Diese stellen der Simulationsumgebung zusätzliche Informationen zur Verfügung, deren Güte durch die Testperson beeinflusst werden kann. Ein Beispiel wäre ein Smart-Phone, welches seine Positions- und Bewegungsdaten an die Simulationsumgebung überträgt. Durch starke Beanspruchung des Smartphones durch die Testperson könnte z. B. die Sendefrequenz der Informationen reduziert werden. Durch zusätzliches Bewegen des Smartphones kann die Genauigkeit der Positions- und Bewegungsinformationen beeinflusst werden. Mit Hilfe der Testumgebung soll der Einfluss auf die zu testende Funktion durch die Verwendung dieser zusätzlichen Sensorquellen untersucht und bewertet werden. Eine alternative Sensorquelle, welche als zusätzliche Sensorik in die Simulationsumgebung eingebunden werden könnte, sind Sensoren der Verkehrsinfrastruktur wie z. B. eine Kamera, welche z. B. an einer Ampel angeordnet ist und die Daten erkannter Fußgängerobjekte an die Fahrzeuge überträgt.It is also possible to use other elements of a real transport infrastructure, e.g. B. to detect a pedestrian traffic light. This is also integrated in the correct position as a virtual object in the simulation environment. Here, other properties of the traffic infrastructure can be transferred as a virtual object, for. B. the light signal of a pedestrian traffic light can be recorded so that a virtual test vehicle can react to the virtual object of the real traffic infrastructure in the simulation. Furthermore, it is possible to add additional sensor sources such. B. to connect smart devices to the simulation environment. These provide the simulation environment with additional information, the quality of which can be influenced by the test person. An example would be a smart phone that transmits its position and movement data to the simulation environment. Heavy use of the smartphone by the test person could, for. B. the transmission frequency of the information can be reduced. Moving the smartphone additionally can influence the accuracy of the position and movement information. With the help of the test environment, the influence on the function to be tested through the use of these additional sensor sources is to be examined and evaluated. An alternative sensor source, which could be integrated into the simulation environment as additional sensors, are sensors of the traffic infrastructure such as e.g. B. a camera, which z. B. is arranged at a traffic light and transmits the data of detected pedestrian objects to the vehicles.

In einer vorteilhaften Ausgestaltung wird eine Vorrichtung zum Test eines umfeldbasierten Assistenzsystems geschaffen, indem in einem Testgelände eine Sensorik zur Erfassung der Position wenigstens einer Testperson angeordnet ist. Weiterhin ist eine Vorrichtung zur Visualisierung vorhanden, durch welche der Testperson im Testgelände eine virtuell generierte Umfeldsimulation anzeigbar ist. Die Umfeldsimulation ist dabei von einem Standort der Testperson darstellbar und an eine sich ändernde Position der Testperson in der Umfeldsimulation anpassbar. Der Simulationsumgebung für die Umfeldsimulation werden seitens der Sensorik erfasste Positionsdaten einer Testperson als Eingangsgrößen zugeführt, wobei ein Objektgenerator vorhanden ist, durch den ein virtuelles Objekt der Testperson erzeugbar und der Umfeldsimulation hinzufügbar ist. Durch die Vorrichtung zur Visualisierung sind simulierte, virtuelle Objekte aus einer Umfeldsimulation in lagerichtiger Zuordnung zur Position der Testperson anzeigbar. Eine durch wenigstens eine Recheneinheit gebildete Simulationsumgebung erzeugt das wenigstens eine virtuelle Testfahrzeug und die Objekte der Umgebungssimulation, wobei deren Verhalten entsprechend eines vorgegebenen Verkehrsszenarios simuliert wird, wobei eine Datenkopplung zwischen der Sensorik zur Positionserfassung der Testperson im Testgelände und der Simulationsumgebung zur Übertragung wenigstens der Positionsdaten der Testperson vorhanden ist und weiterhin ein Ausgabesignal zur Darstellung der Umgebungssimulation und des virtuellen Testfahrzeuges vorhanden ist, welche der Vorrichtung zur Visualisierung im Testgelände anliegt, so dass die durch die Simulationsumgebung erzeugten, virtuellen Objekte lagerichtig zur Position der Testperson für diese visualisierbar sind.In an advantageous embodiment, a device for testing an environment-based assistance system is created by a sensor system for detecting the position in a test site at least one test person is arranged. Furthermore, a device for visualization is available, by means of which the test person in the test site can be shown a virtually generated environment simulation. The environment simulation can be displayed from a location of the test person and can be adapted to a changing position of the test person in the environment simulation. The simulation environment for the environment simulation is fed to the position data of a test person recorded by the sensor system as input variables, with an object generator being available by means of which a virtual object of the test person can be generated and added to the environment simulation. The device for visualization enables simulated, virtual objects from an environment simulation to be displayed in the correct assignment to the position of the test person. A simulation environment formed by at least one computing unit generates the at least one virtual test vehicle and the objects of the environment simulation, their behavior being simulated according to a specified traffic scenario, with a data coupling between the sensors for detecting the position of the test person in the test area and the simulation environment for transmitting at least the position data of the The test person is present and there is also an output signal for displaying the environment simulation and the virtual test vehicle, which is applied to the device for visualization in the test area, so that the virtual objects generated by the simulation environment can be visualized in the correct position for the test person.

Weitere vorteilhafte Ausführungen sind der folgenden detaillierten Beschreibung zu entnehmen.Further advantageous embodiments can be found in the following detailed description.

Hierbei zeigen:

- 1 eine schematische Darstellung eines Testgeländes und
- 2 eine schematische Darstellung des Testverfahrens bzw. der Testvorrichtung.

Here show:

- 1 a schematic representation of a test site and
- 2 a schematic representation of the test method or the test device.

Das in 1 schematisch dargestellte Testgelände 1 weist eine Sensorik 6 zur Positionserfassung einer sich im Testgelände 1 befindenden Testperson 2 auf. Die Sensorik 6 ist einer Simulationseinheit 3 angeschlossen, welche aus Soft- und Hardwarekomponenten besteht und auf welcher eine Simulation für den Test von umfeldbasierten Fahrerassistenzsystemen abläuft. Ausgangsgröße der Simulation und damit Schnittstelle zum realen Testgelände 1 ist eine durch den Pfeil 4 dargestellte Möglichkeit zur Visualisierung der simulierten Objekte für die Testperson 2, wobei die Visualisierung z. B. durch eine VR-Brille (Virtual Reality Brille zur 3-dimensionalen Umgebungswahrnehmung) erfolgen kann. Das Testgelände 1 kann weiterhin weitere reale Objekte, wie beispielsweise die hier dargestellten Fahrbahnmarkierungen 5 aufweisen. Diese können durch die Sensorik 6 gleichsam erfasst werden und der Testperson 2 als virtuelle Objekte 9 in der Visualisierung eingeblendet werden. Es kann aber auch eine Überblendung der Visualisierung und der Realobjekte in Form einer „Augmented Reality“ erfolgen, indem die virtuellen Objekte 9 aus der Simulation der Testperson 2 so visualisiert werden, dass sie den für die Testperson 2 sichtbaren Fahrbahnmarkierungen 5 überlagert werden. Für eine lagerichtige Simulation der virtuellen Objekte 9 aus der Simulation wird die Position der Testperson 2 im Testgelände 1 erfasst und entsprechend ihres Standortes und Sichtbereiches werden ihr die virtuellen Objekte 9 visualisiert. Es ist damit möglich, dass sich die Testperson 2 frei in einer simulierten Szene bewegt, indem die Visualisierung ihrem Standort und Blickwinkel angepasst wird. Die Synchronisierung kann dabei anhand eines gemeinsamen Koordinatensystems erfolgen, welches aus dem Testgelände 1 in die Simulation übertragen wird oder es erfolgt eine Relativzuordnung zu Fixpunkten im Testgelände 1, z. B. zu den Fahrspurmarkierungen oder anderen - nicht dargestellten - Referenzpunkten.This in 1 schematically shown test site 1 has a sensor system 6th to record the position of a self in the test area 1 the test person 2 on. The sensors 6th is a simulation unit 3 connected, which consists of software and hardware components and on which a simulation for the test of environment-based driver assistance systems runs. Output variable of the simulation and thus the interface to the real test site 1 is one by the arrow 4th Possibility to visualize the simulated objects for the test person 2 , the visualization z. B. by VR glasses (virtual reality glasses for 3-dimensional perception of the environment). The proving ground 1 can also use other real objects, such as the lane markings shown here 5 exhibit. This can be done by the sensors 6th are recorded as it were and the test person 2 as virtual objects 9 are shown in the visualization. However, the visualization and the real objects can also be superimposed in the form of "augmented reality" by adding the virtual objects 9 from the simulation of the test person 2 are visualized in such a way that they are relevant to the test person 2 visible road markings 5 are superimposed. For a positionally correct simulation of the virtual objects 9 the position of the test person is derived from the simulation 2 in the proving ground 1 and according to their location and field of vision they become the virtual objects 9 visualized. It is thus possible that the test person 2 moved freely in a simulated scene by adapting the visualization to its location and viewing angle. The synchronization can take place on the basis of a common coordinate system, which is taken from the test site 1 is transferred to the simulation or there is a relative assignment to fixed points in the test area 1 , e.g. B. to the lane markings or other - not shown - reference points.

2 zeigt in einer schematischen Darstellung das Verfahren und die Vorrichtung zum Test umfeldbasierter Assistenzsysteme. Dargestellt sind eine Simulationsumgebung 8, welche auf der in 1 gezeigten Simulationseinheit 3 abläuft und das Testgelände 1, in welchem sich die Testperson 2 befindet. Die Sensorik 6 zur Positionserfassung ist gleichfalls im Testgelände 1 vorgesehen und liefert wenigstens die Positionsdaten der Testperson 2 an die Simulationsumgebung 8. Eine Visualisierung 10 erfolgt z. B. mit einer VR-Brille, welche an einen Ausgang der Simulationsumgebung 8 angeschlossen ist, so dass in der Simulationsumgebung 8 simulierte virtuelle Objekte 9 der Testperson 2 visualisiert werden können, was durch den Pfeil 4 symbolisiert wird. In der Simulationsumgebung 8 wird ein Algorithmus ausgeführt, der die zu testende Funktion des umfeldbasierten Fahrerassistenzsystems, z. B. einer Funktion zur Kollisionsvermeidung mit Fußgängern, abbildet. Dieser Algorithmus wird durch den Simulationsblock 18 symbolisiert. Zum Test der umfeldbasierten Fahrerassistenzsysteme in der Simulation werden z. B. aus einem Testkatalog oder aus realen Fahrdaten Verkehrsszenarien genutzt. In einer möglichen Ausführungsform wird eine Testszene 17 simuliert, wobei diese wenigstens ein virtuelles Testfahrzeug 7 enthält, das in eine Umfeldsimulation 15 eingebettet ist. Die Umfeldsimulation 15 enthält weitere virtuelle Objekte einer Verkehrsumgebung, wie Straßen, Markierungen, Verkehrszeichen usw. In einer Testszene 17 wird das virtuelle Testfahrzeug 7 mit einer aus dem Testszenario stammenden geplanten Trajektorie beschrieben, welche z. B. Richtungs- und/oder Geschwindigkeitsdaten des Testfahrzeuges enthält. Das virtuelle Testfahrzeug 7 wird dabei Software- oder Hardware in the Loop simuliert. Die Fahrdynamik eines realen Fahrzeuges kann je nach Ausbaustufe der Simulation in dem virtuellen Testfahrzeug 7 abgebildet werden. In einem einfachen Fall erfolgt eine Geradeausfahrt mit einer von der Testszene vorgegebenen Geschwindigkeit. Es sind weiterhin auch komplexe Trajektorien denkbar, in denen die geplante Bewegungsrichtung und Geschwindigkeit variieren. Weiterhin kann die Testszene 17 Daten z. B. zu Fahrbahnmarkierungen 5 enthalten, welche über ein Sensormodell dem virtuellen Testfahrzeug 7 vorgegeben werden, so dass die gefahrene Trajektorie entsprechend erkannter Fahrbahnmarkierungen 5 abgefahren wird. Hierfür können die Daten aus der Testszene 17, welche in der Umfeldsimulation 15 abgespielt werden, dem die Fahrdynamik beeinflussenden Simulationsblock 18 vorgegeben werden. In der Simulation wirkt der Simulationsblock 18 auf Basis der Umfelddaten auf das virtuelle Testfahrzeug 7 und dieses bewegt sich entsprechend der simulierten Testszene 17 auf Basis der Überlagerung der geplanten Trajektorie und der Einflussnahme der Bewegungssimulation durch die aus der Umfeldsimulation 15 stammenden Daten. Der Simulationsablauf der Testszene 17, des virtuellen Testfahrzeuges 7, der Bewegungssimulation auf Basis der Umfeldsimulation 15 und die entsprechende Beeinflussung des virtuellen Testfahrzeuges 7 sowie die Visualisierung 10 entsprechen der bekannten Software / Hardware in the Loop Simulation, bei welcher z. B. über Sensormodelle Testdaten in das virtuelle Testfahrzeug 7 eingespeist werden und durch eine Fahrdynamiksimulation z. B. über Aktor- und Fahrzeugmodelle Stellaktionen simuliert und letztlich die Bewegung des virtuellen Testfahrzeuges 7 simuliert werden. Der erfindungsgemäße Gedanke erweitert die Simulationsmöglichkeit um eine reale Testperson 2 und deren Einfluss auf den zu testenden die Fahrerassistenzfunktion abbildenden Algorithmus. Im Gegensatz z. B. zu einer Vehicle in the loop Simulation, bei welcher das reale Testfahrzeug den zu simulierenden Algorithmus der zu testenden Fahrerassistenzfunktion ausführt, wird dieser gleichfalls in der Simulationsumgebung 8 im Simulationsblock 18 ausgeführt. Der Algorithmus erhält dabei die Eingangsdaten der Umfeldsimulation 15 aus der Testszene 17, wobei weiterhin wenigstens ein virtuelles Objekt 9, dass z. B. durch einen in der Simulation vorgesehenen Objektgenerator 12 gebildet wird, als weitere Eingangsgröße dem zu simulierenden Algorithmus der zu testenden Assistenzfunktion anliegt. Das virtuelle Objekt 9 ist dabei nicht Teil der Testszene 17, sondern wird gesondert aus der Positionserfassung der Testperson 2 im Testgelände 1 generiert. Die Testperson 2 wird als virtuelles Objekt 9 ein weiteres Eingangsobjekt des Simulationsblocks 18. Position und Bewegung der Testperson 2 werden somit Teil der Simulation. Die Positionserfassung 6 im Testgelände 1 ermöglicht es, die Bewegung der Testperson 2 zu erfassen und deren Position bzw. Positionsänderung auf das virtuelle Objekt 9 zu übertragen. Bewegt sich die Testperson 2 im Testgelände 1, so erfolgt eine entsprechende Bewegung des virtuellen Objektes 9 in der Simulationsumgebung 8. Über eine Visualisierung 10 werden der Testperson 2 das virtuelle Testfahrzeug 7 und die virtuellen Objekte 9 der Umfeldsimulation 15 als fusionierte Darstellung angezeigt. Die Testperson 2 ist damit in der Lage, die Testszene 17 also die Position und Bewegung des virtuellen Testfahrzeuges 7 sowie die Objekte der Umfeldsimulation 15 wahrzunehmen. Für eine funktionierende Interaktion der Testperson 2 im Testgelände 1 mit der in der Simulationsumgebung 8 ablaufenden Testszene 17 bedarf es einer zur Position des virtuellen Objektes 9 lagerichtigen Visualisierung 10 der Testszene 17 für die Testperson 2 und eine entsprechende Synchronisation der Position bzw. Bewegung des virtuellen Objektes 9 der Testperson 2 in der Simulationsumgebung 8. Die Position und Bewegung der Objekte in der Simulationsumgebung 8 und deren Darstellung in der Visualisierung 10 sowie die Einkopplung der Bewegung der Testperson 2 als virtuelles Objekt 9 müssen zeitlich und lagerichtig synchronisiert werden. Hierfür kann ein gemeinsames Koordinatensystem genutzt werden, so dass die virtuellen Objekte 9 der Simulationsumgebung 8 entsprechend der Testperson 2 lagerichtig visualisiert werden und eine Wahrnehmung entsprechend dem Standort der Testperson 2 möglich wird. Weiterhin kann erweiternd die Blickrichtung der Testperson 2 erfasst werden, so dass eine Rundumsicht ermöglicht wird. Das gleiche Koordinatensystem wird dabei ggf. transformiert oder entsprechend skaliert in der Simulationsumgebung 8 genutzt. So wird eine lagerichtige Visualisierung 10 entsprechend dem Standort der Testperson 2 im Testgelände 1 gesichert. Eine weitere ggf. zusätzliche Möglichkeit ist die lagerichtige Synchronisation über Fixpunkte des Testgeländes. In einer beispielhaften Ausgestaltung verfügt das Testgelände über Straßenmarkierungen oder andere ortsunveränderliche Referenzpunkte. In Form z. B. einer „Augmented Reality“ kann die Testperson 2 sowohl die realen Straßenmarkierungen im Testgelände 1 als auch die aus der Visualisierung 10 stammenden Objekte wahrnehmen. Diese werden überlagert der Testperson 2 visualisiert. Die Markierungen können Teil der Testszene 17 sein und in dieser lagerichtig zum Testgelände 1 verwirklicht sein oder sie werden ebenfalls als virtuelle Objekte 9 in die Simulationsumgebung 8 eingekoppelt. Das virtuelle Testfahrzeug 7 kann diese z. B. als Eingangsgrößen über ein Sensormodell erhalten. Das virtuelle Testfahrzeug 7 könnte so der Fahrspur des Testgeländes 1 entsprechend folgen, da diese als virtuelles Objekt 9 in der Simulationsumgebung 8 abgebildet werden kann. Die Interaktion der Testperson 2 mit der Simulationsumgebung 8 ermöglicht eine besonders realitätsnahe Wahrnehmung der Testszene 17. Zum Einen ist es möglich, innerhalb der Testszene 17 den Betrachterstandpunkt frei zu wählen, weiterhin ist die Wirkung der Bewegung in der Testszene 17 auf den zu testenden Algorithmus direkt beobachtbar. Wird beispielsweise ein kollisionsvermeidendes Assistenzsystem getestet, dessen Algorithmus im Simulationsblock 18 abgebildet ist, dann kann die Testperson 2 diesen direkt beeinflussen. Es kann z. B. bei Annäherung eines Fahrzeugs die durch die Simulation des kollisionsvermeidenden Algorithmus hervorgerufene Ausweichbewegung des virtuellen Testfahrzeuges 7 direkt aus der Perspektive der Testperson 2 beurteilt werden. Die Testperson 2 kann somit die simulierten Objekte aus der von ihr gewählten Betrachterperspektive verfolgen und durch eigene Handlungen beeinflussen. 2 shows in a schematic representation the method and the device for testing environment-based assistance systems. A simulation environment is shown 8th , which on the in 1 simulation unit shown 3 expires and the proving ground 1 , in which the test person 2 is located. The sensors 6th for position detection is also in the test area 1 provided and provides at least the position data of the test person 2 to the simulation environment 8th . A visualization 10 takes place z. B. with VR glasses, which are connected to an output of the simulation environment 8th connected so that in the simulation environment 8th simulated virtual objects 9 of the test person 2 what can be visualized by the arrow 4th is symbolized. In the simulation environment 8th an algorithm is executed that the function to be tested of the environment-based driver assistance system, z. B. a function for collision avoidance with pedestrians, maps. This algorithm is used by the simulation block 18th symbolizes. To test the environment-based driver assistance systems in the simulation, z. B. used from a test catalog or from real driving data traffic scenarios. In one possible embodiment, a test scene 17th simulated, this being at least one virtual test vehicle 7th contains that in an environment simulation 15th is embedded. The environment simulation 15th contains further virtual objects of a traffic environment, such as roads, markings, traffic signs, etc. In a test scene 17th becomes the virtual test vehicle 7th described with a planned trajectory originating from the test scenario, which z. B. contains direction and / or speed data of the test vehicle. The virtual test vehicle 7th software or hardware is simulated in the loop. The Driving dynamics of a real vehicle can, depending on the expansion stage of the simulation in the virtual test vehicle 7th can be mapped. In a simple case, the vehicle is traveling straight ahead at a speed specified by the test scene. Complex trajectories are also conceivable in which the planned direction of movement and speed vary. Furthermore, the test scene 17th Data z. B. to road markings 5 contain which via a sensor model the virtual test vehicle 7th can be specified, so that the trajectory driven in accordance with recognized road markings 5 is departed. The data from the test scene 17th , which in the environment simulation 15th are played, the simulation block influencing the driving dynamics 18th can be specified. The simulation block is effective in the simulation 18th based on the environmental data on the virtual test vehicle 7th and this moves according to the simulated test scene 17th on the basis of the overlay of the planned trajectory and the influence of the motion simulation by the simulation of the surroundings 15th originating data. The simulation sequence of the test scene 17th , the virtual test vehicle 7th , the motion simulation based on the environment simulation 15th and the corresponding influencing of the virtual test vehicle 7th as well as the visualization 10 correspond to the known software / hardware in the loop simulation, in which z. B. via sensor models test data in the virtual test vehicle 7th are fed and by a driving dynamics simulation z. B. simulated actuation actions via actuator and vehicle models and ultimately the movement of the virtual test vehicle 7th can be simulated. The idea according to the invention expands the possibility of simulation to include a real test person 2 and their influence on the algorithm to be tested which depicts the driver assistance function. In contrast to z. B. to a vehicle in the loop simulation in which the real test vehicle executes the algorithm to be simulated of the driver assistance function to be tested, this is also used in the simulation environment 8th in the simulation block 18th executed. The algorithm receives the input data from the environment simulation 15th from the test scene 17th , further including at least one virtual object 9 that z. B. by an object generator provided in the simulation 12th is formed, as a further input variable is applied to the algorithm to be simulated of the assistance function to be tested. The virtual object 9 is not part of the test scene 17th , but is made separately from the position recording of the test person 2 in the proving ground 1 generated. The test person 2 is called a virtual object 9 another input object of the simulation block 18th . Position and movement of the test person 2 thus become part of the simulation. The position detection 6th in the proving ground 1 allows the movement of the test person 2 to capture and their position or change of position on the virtual object 9 transferred to. The test person moves 2 in the proving ground 1 , a corresponding movement of the virtual object takes place 9 in the simulation environment 8th . Via a visualization 10 become the test subject 2 the virtual test vehicle 7th and the virtual objects 9 the environment simulation 15th displayed as a merged representation. The test person 2 is thus able to run the test scene 17th i.e. the position and movement of the virtual test vehicle 7th as well as the objects of the environment simulation 15th perceive. For a functioning interaction of the test person 2 in the proving ground 1 with the one in the simulation environment 8th running test scene 17th there is a need for the position of the virtual object 9 positionally correct visualization 10 the test scene 17th for the test person 2 and a corresponding synchronization of the position or movement of the virtual object 9 of the test person 2 in the simulation environment 8th . The position and movement of the objects in the simulation environment 8th and their representation in the visualization 10 as well as the coupling of the test person's movement 2 as a virtual object 9 must be synchronized in terms of time and position. A common coordinate system can be used for this, so that the virtual objects 9 the simulation environment 8th according to the test person 2 be visualized in the correct position and a perception according to the location of the test person 2 becomes possible. Furthermore, the direction of view of the test person can be expanded 2 can be recorded so that an all-round view is made possible. The same coordinate system is transformed or scaled accordingly in the simulation environment 8th utilized. This creates a visualization in the correct position 10 according to the location of the test person 2 in the proving ground 1 secured. Another possibility, if necessary, is the synchronization in the correct position via fixed points on the test site. In an exemplary embodiment, the test site has road markings or other fixed reference points. In the form of B. an "Augmented Reality" can the test person 2 both the real road markings in the test area 1 as well as those from the visualization 10 perceive originating objects. These are superimposed on the test person 2 visualized. The markings can be part of the test scene 17th and in this position in the correct position to the test site 1 be realized or they are also as virtual objects 9 into the simulation environment 8th coupled. The virtual test vehicle 7th can this z. B. obtained as input variables via a sensor model. The virtual test vehicle 7th could be the lane of the test site 1 follow accordingly, as this is a virtual object 9 in the simulation environment 8th can be mapped. The interaction of the test person 2 with the simulation environment 8th enables a particularly realistic perception of the test scene 17th . On the one hand, it is possible within the test scene 17th the viewer can be freely chosen, the effect of the movement in the test scene is still there 17th directly observable on the algorithm to be tested. For example, if a collision-avoiding assistance system is tested, its algorithm is in the simulation block 18th is shown, then the test person can 2 affect this directly. It can e.g. B. when a vehicle approaches, the evasive movement of the virtual test vehicle caused by the simulation of the collision-avoiding algorithm 7th directly from the perspective of the test person 2 be assessed. The test person 2 can thus follow the simulated objects from the viewer's perspective chosen by you and influence them through your own actions.

Claims

Method for testing an environment-based assistance system, wherein at least one virtual test vehicle (7), which is embedded in an environment simulation (15), is simulated, the simulated movement of the virtual test vehicle (7) being described by a planned, predefined movement trajectory on which an algorithm that maps the function of the assistance system to be tested influences, the algorithm being provided with data on virtual objects of a traffic environment from the environment simulation (15), which the initial behavior of the algorithm and thus its influence on the planned, predefined movement trajectory of the virtual test vehicle (7) and generate a resulting movement trajectory of the virtual test vehicle (7) resulting from this superposition, the virtual test vehicle (7) and the virtual objects of a traffic environment from the environment simulation (15) in a test site (1) of a test person (2) visu at least the position of the test person (2) within the test site (1) is recorded with a sensor system (6) and a virtual object (9) of the test person (2) is formed from at least the position data of the test person (2), the position data of the virtual object (9) of the test person (2) being synchronized in the correct position relative to the representation of the virtual test vehicle (7), so that the perception of the test vehicle (7) generated by the visualization (10) from the perspective of the test person (2 ) synchronized in the correct position with the position of the virtual object (9) of the test person (2) in the simulation, so that changes in position of the test person (2) in the test area (1) result in a corresponding change in the position of the virtual object (9) of the test person (2) in the simulation environment (8), the position and / or the change in the position of the virtual object (9) of the test person (2) being the input variable of the algorithm mapping the function to be tested ithmus and thus the simulated output behavior of the algorithm representing the function to be tested is influenced by the position or the change in the position of the virtual object (9) of the test person (2) created in the simulation environment (8), whereby at the same time for the test person (2 ) a positionally correct visualization (10) of the environment simulation (15) and at least of the virtual test vehicle (7) takes place, so that the movement trajectory of the virtual test vehicle (7) resulting from the superimposition of the influences of the assistance system and the planned, predefined movement trajectory in the Environment simulation (15) can be perceived by the test person (2) in the correct position for the simulation.

Procedure according to Claim 1 , characterized in that the planned, predefined movement trajectory of the virtual test vehicle (7) corresponds to a defined test scenario (17) for evaluating environment-based assistance systems.

Method according to one of the preceding claims, characterized in that the position of the test person (2) in the test site (1) is recorded by an external sensor system (6) and an assignment to a defined coordinate system of the test site (1) or relative to defined fixed points in the test site (1) takes place, whereby the position of the test person (2) takes place on a corresponding position of the virtual object (9) of the test person (2) in a corresponding synchronized space allocation to the environment simulation (15), so that the position of the virtual object (9) of the test person (2) is inserted into the environment simulation (15) in the correct position for the perception of the test person (2).

Method according to one of the preceding claims, characterized in that a stationary imaging or distance-measuring sensor system determines at least the position of the test person (2) and is generated in further processing of the position data of the virtual object (9), the virtual object (9) being the Test person (2) is characterized by the position in the test area (1) and can additionally have further parameters which characterize his size and / or speed and / or direction of movement.

Procedure according to Claim 4 , characterized in that, in addition to the position of the test person (2), further real objects are recorded in the test site (1) and inserted into the simulation as virtual objects (9).

Procedure according to Claim 5 , characterized in that road markings and / or obstacles and / or further elements of the traffic infrastructure and / or further persons and / or further vehicles are recorded as further real objects and are inserted into the simulation as virtual objects (9).

Device for testing an environment-based assistance system, characterized in that a sensor system (6) for detecting the position of at least one test person (2) is arranged in a test site (1), with a device for visualizing (10) a virtually generated environment simulation (15 ) is available, whereby the environment simulation (15) can be represented from the perspective of the test person (2) and can be adapted to a changing position of the test person (2) in the environment simulation (15) and for this purpose the simulation environment (8) for the environment simulation ( 15) the position data of the test person (2) recorded by the sensor system (6) are supplied as input variables and a virtual object (9) for the test person (2) can be generated by an object generator (12), which can be added to the environment simulation (15) and the device for visualizing (10) the environment simulation (15) being able to display further objects in the correct assignment to the position of the test person (2) and a computer with a processing unit and a machine-readable storage medium, which is prepared to carry out the test method, is provided, a computer program being stored on the storage medium, the computer program using the processing unit to execute a method according to FIG Claims 1 - 6th executes.

Device according to Claim 7 , characterized in that the device for visualizing (10) the environment simulation (15) is VR glasses or a projection into the test site (1).

Computer program that carries out all the steps of a method according to one of the Claims 1 to 6th when it runs on a computer.

Computer program product with a program code stored on a machine-readable storage medium for performing the method according to one of the Claims 1 to 6th when the program is running on a computer.