DE102017107396A1

DE102017107396A1 - Test method and test device for driver assistance systems

Info

Publication number: DE102017107396A1
Application number: DE102017107396.5A
Authority: DE
Inventors: Benedikt Schonlau; Thomas Ludwig; Christopher Harmening
Original assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Current assignee: IAV GmbH Ingenieurgesellschaft Auto und Verkehr
Priority date: 2017-04-06
Filing date: 2017-04-06
Publication date: 2018-10-11
Anticipated expiration: 2037-04-07
Also published as: DE102017107396B4

Abstract

Die Erfindung betrifft ein Verfahren zum Test eines umfeldbasierten Assistenzsystems, wobei wenigstens ein virtuelles Testfahrzeug (7), das in eine Umfeldsimulation (15) eingebettet ist, simuliert wird. Weiterhin wird in einem Testgelände (1) einer Testperson (2) mit einer Sensorik (6) erfasst und aus deren Positionsdaten wird ein virtuelles Objekt (9) gebildet, wobei die Positionsdaten des virtuellen Objektes (9) in lagerichtiger Relation zur Darstellung des virtuellen Testfahrzeuges (7) synchronisiert werden, so dass diese aus Sicht der Testperson (2) lagerichtig zu dieser visualisiert werden können. Eine Positionsänderung der Testperson (2) im Testgelände (1) hat daher eine entsprechende Änderung der Position des virtuellen Objektes (9) der Testperson (2) in der Simulationsumgebung (8) zur Folge.

The invention relates to a method for testing an environment-based assistance system, wherein at least one virtual test vehicle (7), which is embedded in an environment simulation (15), is simulated. Furthermore, in a test area (1) of a test person (2) with a sensor (6) is detected and their position data is a virtual object (9) is formed, wherein the position data of the virtual object (9) in positional relation to the representation of the virtual test vehicle (7) are synchronized so that they can be visualized from the perspective of the test person (2) in the correct position for this. A change in position of the test person (2) in the test area (1) therefore results in a corresponding change in the position of the virtual object (9) of the subject (2) in the simulation environment (8).

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung sowie ein Computerprogramm und ein Computerprogrammprodukt zum Testen umfeldbasierter Fahrerassistenzsysteme mit den Merkmalen gemäß der unabhängigen Patentansprüche.The present invention relates to a method and a device as well as a computer program and a computer program product for testing environment-based driver assistance systems having the features according to the independent patent claims.

Für die Entwicklung von Fahrerassistenzsystemen ist deren reproduzierbare Erprobung ein wichtiger Faktor. Beginnend bereits in der Konzeptphase der Entwicklung ist es von Vorteil, die Funktion und Wirkungsweise der Assistenzsysteme in Simulationen zu erproben. Hierbei werden z. B. einzelne Szenen oder eine Folge von Szenen aus der Realwelt in einer Simulation umgesetzt und das Verhalten der zu testenden Assistenzsysteme wird unter diesen Testbedingungen erprobt. Die simulative Erprobung ermöglicht dabei eine weitgehende Reproduzierbarkeit. Weiterhin werden Tests unter realen Verkehrsbedingungen oder der Bau von Prototypen minimiert und auf eine spätere seriennahe Testphase verschoben. Simulative Tests erlauben weiterhin eine Erprobung frei von Risiken für beteiligte Personen und/oder Fahrzeuge, was insbesondere bei Assistenzsystemen, welche Sicherheitsfunktionen beinhalten, die eine Fahrzeugkollision mit Objekten, Fahrzeugen oder Fußgängern vermeiden sollen, wichtig ist. Die Simulation nutzt dabei als Eingangsgröße Umfelddaten, welche zu den jeweiligen Szenen oder Szenenfolgen gehören. Diese können z. B. bei Testfahrten gemessen und aufgezeichnet oder synthetisch erzeugt werden, indem ein Datengenerator zu einer virtuellen Szene die zugehörigen Umfelddaten breitstellt.For the development of driver assistance systems, their reproducible testing is an important factor. Starting in the concept phase of development, it is advantageous to test the function and mode of operation of the assistance systems in simulations. This z. For example, individual scenes or a sequence of scenes from the real world are implemented in a simulation and the behavior of the assistance systems to be tested is tested under these test conditions. The simulative testing allows a high degree of reproducibility. Furthermore, tests under real traffic conditions or the construction of prototypes are minimized and postponed to a later near-series test phase. Simulative tests also allow testing free of risks for involved persons and / or vehicles, which is particularly important in assistance systems that include safety features designed to prevent vehicle collision with objects, vehicles or pedestrians. The simulation uses as an input variable environment data which belong to the respective scenes or scene sequences. These can be z. B. measured during test drives and recorded or generated synthetically by a data generator to a virtual scene broadens the associated environment data.

Verschiedene Simulationsverfahren sind dabei Stand der Technik. Einen beispielhaften Überblick gibt Neumann-Consel in „Virtual Test Drive Simulation von umfeldbasierten Fahrzeugfunktionen“ Diss. TU München 2013. Zum Test von Assistenzsystemen werden dabei Komponenten oder Simulationsmodelle in einen Regelkreis verschalten. Es werden Eingangssignale vorgegeben und die Reaktion der Komponente oder Modelle am Ausgang wird beobachtet und ggf. an ein nachfolgendes System weitergeleitet. Man unterscheidet begrifflich einzelne Simulationstypen in Abhängigkeit der Nutzung von Modellen, Komponenten, Fahrern oder vom Umfeld im jeweiligen Simulationsverfahren.Various simulation methods are state of the art. Neumann-Consel gives an exemplary overview in "Virtual Test Drive Simulation of Environment-Based Vehicle Functions" Diss. TU München 2013. To test assistance systems, components or simulation models are interconnected in a control loop. Input signals are specified and the reaction of the component or models at the output is monitored and, if necessary, forwarded to a subsequent system. Conceptually, a distinction is made between individual simulation types depending on the use of models, components, drivers or the environment in the respective simulation method.

Ein Test der grundsätzlichen Wirkungsweise einer Assistenzfunktion kann am Beginn einer Entwicklung mit einer SIL-Simulation (Software in the Loop) durchgeführt werden. Hier können die Algorithmen der Funktion erprobt werden, ohne auf die später genutzte Sensorik oder Aktuatorik zurückzugreifen. Zum Generieren der Eingangsdaten für die Algorithmen der Assistenzfunktion müssen die Signale der später im Fahrzeug vorhandenen Umfeldsensoren synthetisiert werden. Dies kann z. B. im Zusammenspiel mit einer Umfeldsimulation erfolgen, in welcher simulierte Verkehrsszenarien ablaufen und daraus Eingangsgrößen für die Simulation gebildet werden. In einem einfachen Beispiel könnte dies ein vorausfahrendes Fahrzeug mit seiner Lage und Bewegung z. B. zur Erprobung eines ACC-Algorithmus sein. Die Simulation benötigt zum Test der Algorithmen die Eingangsgrößen, welche aus der Umfeldsimulation abgeleitet werden. Diese kann mit Hilfe von Sensormodellen erfolgen, welche in der Simulation die später im Fahrzeug vorhandenen Sensoren ersetzen und deren Verhalten modellieren. Am Ausgang eines Sensormodells z. B. eines Modells für einen Radarsensor zur Abstandsregelung können Geschwindigkeit, Abstand und Relativlage von Objekten als Eingangsgrößen zur Simulation der Algorithmen der Assistenzsysteme zur Verfügung gestellt werden. In der Simulation erfolgt nun basierend auf den Eingangsdaten eine Reaktion des Assistenzsystems, z. B. die Vorgabe einer negativen Beschleunigung zur Erhöhung des Abstandes. Die Simulation kann hierfür ein Aktormodell und ein Fahrdynamikmodell enthalten. Im Aktormodell wird z. B. die Eingangsgröße der Beschleunigung in einen Bremsdruck umgesetzt und das folgende Fahrdynamikmodell erzeugt basierend auf dem Bremsdruckverlauf das Verhalten des Ego-Fahrzeugs, wobei dessen Bewegung in einem Regelkreis mit der Umfeldsimulation verschalten wird. Somit können alle Szenarien, welche durch die Umfeldsimulation vorgegeben werden, in ihrer Auswirkung auf das simulierte Fahrzeugverhalten beobachtet werden. Assistenzfunktionen können somit in einer Simulationsumgebung reproduzierbar erprobt, appliziert und validiert werden.A test of the basic mode of operation of an assistance function can be carried out at the beginning of a development with a SIL simulation (Software in the Loop). Here, the algorithms of the function can be tested without resorting to the later used sensors or actuators. In order to generate the input data for the algorithms of the assistance function, the signals of the environment sensors present later in the vehicle must be synthesized. This can be z. This can be done, for example, in conjunction with an environment simulation in which simulated traffic scenarios run and from which input variables for the simulation are formed. In a simple example, this could be a preceding vehicle with its location and movement z. B. for testing an ACC algorithm. To test the algorithms, the simulation requires the input variables derived from the environment simulation. This can be done with the help of sensor models, which replace the sensors later in the vehicle and model their behavior in the simulation. At the output of a sensor model z. B. a model for a radar sensor for distance control speed, distance and relative position of objects as input variables for the simulation of the algorithms of the assistance systems can be provided. In the simulation, a reaction of the assistance system is now based on the input data, z. B. the specification of a negative acceleration to increase the distance. The simulation may contain an actuator model and a vehicle dynamics model for this purpose. In the actuator model z. B. the input variable of the acceleration converted into a brake pressure and the following vehicle dynamics model generates based on the brake pressure curve, the behavior of the ego vehicle, wherein the movement is connected in a control loop with the environment simulation. Thus, all scenarios, which are given by the environment simulation, can be observed in their impact on the simulated vehicle behavior. Assistance functions can thus be reproducibly tested, applied and validated in a simulation environment.

Werden die Algorithmen der Assistenzfunktion auf einer Zielhardware z. B. einem später im Serienfahrzeug genutzten Steuergerät portiert und wird dieses anstelle des Algorithmus in eine echtzeitfähige Simulationsumgebung eingebettet, spricht man von einer HIL-Simulation (Hardware in the Loop). Auf diese Weise können auch reale Sensoren oder Aktoren in die Simulation einbezogen werden.Are the algorithms of the assistance function on a target hardware z. B. a later used in the production vehicle control unit ported and this is embedded instead of the algorithm in a real-time simulation environment, it is called an HIL simulation (hardware in the loop). In this way, real sensors or actuators can be included in the simulation.

Zur Erprobung der Wirkung der Assistenzsysteme auf den Fahrer z. B. zur Bewertung der Mensch-Maschine-Schnittstelle können in einer weiteren Simulationsart Testfahrten unter Laborbedingungen nachgestellt werden. Ein Testfahrer sitzt dabei in einem Fahrsimulator. Aus der Umfeldsimulation werden Szenen generiert, welche im Regelkreis mit dem Fahrsimulator, auf dem die Algorithmen des Assistenzsystems ablaufen, interagieren, wobei dem Fahrer z. B. die realen Ausgaben des MMI bereitgestellt werden. Zeitlich synchronisiert wird die Szene für den Fahrer visualisiert, so dass er entsprechend die simulierte Szene und die Reaktion der Fahrzeugkomponenten z. B. MMI im Zusammenspiel erleben kann. Diese Art der Simulation wird als DIL-Simulation bezeichnet (Driver in the Loop).To test the effect of the assistance systems on the driver z. B. for the evaluation of the human-machine interface test drives under laboratory conditions can be adjusted in a further simulation type. A test driver sits in a driving simulator. From the environment simulation scenes are generated, which interact in the control loop with the driving simulator on which run the algorithms of the assistance system, wherein the driver z. For example, the real expenses of the MMI can be provided. Synchronized in time, the scene is visualized for the driver, so that he accordingly the simulated scene and the reaction of the vehicle components z. B. Experience MMI in interaction can. This type of simulation is called DIL simulation (Driver in the Loop).

Eine realitätsnahe Simulation kann mit einer VIL-Simulation erfolgen. (Vehicle in the Loop) Hierbei fährt der Fahrer auf einer Teststrecke ein reales Fahrzeug. Dem Fahrer werden über eine optische Visualisierung, z. B. über eine VR-Brille Bilder einer Verkehrsszene oder auch nur einzelne Objekte daraus eingeblendet. Der Fahrer sieht damit virtuelle Verkehrsobjekte, welche gleichzeitig z. B. über Sensormodelle für das Fahrzeug eingekoppelt werden, so dass dieses trotz leerer Teststrecke auf die dem Fahrer visualisierten Objekte reagiert. Die Bewegung des realen Fahrzeuges und die Blickrichtung des Fahrers werden in der Visualisierung und der Umgebungssimulation berücksichtigt. Die virtuellen Objekte werden ggf. nach einem entsprechenden Szenario durch die Umfeldsimulation gesteuert. Ihre Visualisierung wird entsprechend der Fahrbewegung des Realfahrzeuges angepasst und die entsprechenden Sensordaten werden für das Realfahrzeug bereitgestellt. Der Fahrer ist damit in der Lage, die Funktion des Assistenzsystems anhand der Reaktion des Fahrzeuges, indem er sich befindet, wahrzunehmen. Die Simulation wird durch die Fahrbewegung des Fahrers beeinflusst. Das zu testende Assistenzsystem muss sich dabei im Fahrzeug befinden, wobei der umliegende Verkehr simuliert wird.A realistic simulation can be done with a VIL simulation. (Vehicle in the Loop) Here, the driver drives a real vehicle on a test track. The driver is an optical visualization, z. B. via a VR glasses images of a traffic scene or even individual objects appear from it. The driver thus sees virtual transport objects, which at the same time z. B. are coupled via sensor models for the vehicle, so that this reacts despite empty test track on the driver visualized objects. The movement of the real vehicle and the driver's line of sight are taken into account in the visualization and the environmental simulation. The virtual objects are possibly controlled by the environment simulation according to a corresponding scenario. Your visualization is adjusted according to the driving movement of the real vehicle and the corresponding sensor data are provided for the real vehicle. The driver is thus able to perceive the function of the assistance system based on the reaction of the vehicle in which he is located. The simulation is influenced by the driving movement of the driver. The assistance system to be tested must be in the vehicle while the surrounding traffic is simulated.

Vorbekannt ist weiterhin aus der DE 102 56 612 B3 eine Vorrichtung zum Fahrertraining, bei dem einem Fahrer eine simulierte, virtuelle Gefahrensituation lagerichtig zu seiner Umwelt eingeblendet wird. Es wird die Kopfposition und Blickrichtung des Fahrers verfolgt, um eine virtuelle Realität der normalen Fahrumgebung lagerichtig überlagern zu können. Die Reaktion des Fahrers auf die virtuelle Gefahrenlage soll dabei beobachtet bzw. trainiert werden.Previously known from the DE 102 56 612 B3 a device for driver training in which a driver a simulated, virtual hazard situation is displayed in the correct position to its environment. The driver's head position and line of sight are tracked in order to be able to superimpose a virtual reality on the normal driving environment in the correct position. The reaction of the driver to the virtual danger situation should be observed or trained.

Weiterhin vorbekannt ist aus der DE 10 2006 044 086 B4 eine Software-in-the-loop-Simulation, bei der einem Referenzfahrzeug, welches beispielsweise auch durch Algorithmen zur Abstandsregelung gesteuert werden kann, als Eingangsgrößen weitere Objekte simuliert werden, deren Bahnverlauf stochastischen oder deterministischen Modellen folgt. Es ist weiterhin vorgesehen, dass ein Bediener über eine Schnittstelle von außen auf die Simulation eingreifen kann, indem er einzelne virtuelle Objekte manuell steuert.Furthermore, it is already known from the DE 10 2006 044 086 B4 a software-in-the-loop simulation, in which a reference vehicle, which can also be controlled by algorithms for distance control, for example, simulated as input variables further objects whose trajectory follows stochastic or deterministic models. It is further provided that an operator can intervene on the simulation via an external interface by manually controlling individual virtual objects.

Aus der DE 10 2014 015 871 A1 ist es bekannt, einem Fahrer über eine VR- oder AR-Brille virtuelle Inhalte im Fahrzeug anzuzeigen, wobei neben der Blickrichtung des Fahrers auch die Position der Brille im Fahrzeug in der Darstellung berücksichtigt wird. In vorteilhafter Weise wird eine Sensorik zur Gestenerkennung genutzt, um die Position der Brille im Fahrzeug zu ermitteln. Die Positionsbestimmung verbessert dabei die Darstellung virtueller Objekte, so dass z. B. zusätzliche Warnhinweise an einer bestimmten Position im Fahrzeug angezeigt werden können, indem die Position der Brille bei der Darstellung der virtuellen Inhalte berücksichtigt wird.From the DE 10 2014 015 871 A1 It is known to display a virtual reality content in the vehicle via a VR or AR glasses to a driver, wherein in addition to the driver's line of sight and the position of the glasses in the vehicle is taken into account in the presentation. Advantageously, a sensor system for gesture recognition is used to determine the position of the glasses in the vehicle. The position determination thereby improves the representation of virtual objects, so that z. For example, additional warnings may be displayed at a particular location in the vehicle by taking into account the position of the goggles when displaying the virtual contents.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zu schaffen, welche das Testen eines umfeldbasierten Fahrerassistenzsystems bereits in seiner Entwicklungsphase flexibler, effektiver und sicherer gestaltet. Dabei soll gefahrfrei insbesondere eine Fußgängerperspektive realitätsnah wahrnehmbar sein.It is an object of the present invention to provide a method and a device which makes the testing of an environment-based driver assistance system more flexible, effective and secure already in its development phase. It should be danger-free in particular a pedestrian perspective realistically perceptible.

Diese Aufgabe wird mittels eines Verfahrens gemäß dem Patentanspruch 1 sowie mit einer Vorrichtung gemäß Anspruch 7 sowie einem Computerprogramm und einem Computerprogrammprodukt gemäß der Ansprüche 9 und 10 gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen und den Ausführungsbeispielen beschrieben.This object is achieved by means of a method according to claim 1 and with a device according to claim 7 and a computer program and a computer program product according to claims 9 and 10. Advantageous developments are described in the subclaims and the exemplary embodiments.

Das erfindungsgemäße Verfahren dient zum Test eines umfeldbasierten Assistenzsystems. Diese umfeldbasierten Assistenzsysteme werden durch Informationen aus der Umwelt stimuliert, indem sie über Sensoren Umfeldinformationen aufnehmen. Die Assistenzsysteme interagieren dabei mit einem Fahrzeug und/oder Fahrer, wobei sie in einem einfachen Fall z. B. einen Warnhinweis auf eine bevorstehende Kollision anzeigen. Die umfeldbasierten Assistenzsysteme können Aktoren ansteuern, Fahrzeugfunktionen beeinflussen oder auch komplexe Steueraktionen ausführen, wie z. B. ein Fahrzeug teil- oder gänzlich autonom führen. Für das erfindungsgemäße Verfahren ist das Assistenzsystem dabei in eine Simulationsumgebung eingebettet. Es kann als Software oder Hardware in the loop simulierter Algorithmus ablaufen. Das Testverfahren weist dafür eine Umfeldsimulation auf, in welcher wenigstens ein virtuelles Testfahrzeug simuliert wird. Die Umfeldsimulation kann dabei einen Verkehrsraum aufweisen, der weitere virtuelle Objekte, wie Straßen, Markierungen, Hindernisse usw. aufweist. Zusätzlich können in der Umfeldsimulation weitere Objekte der Verkehrsinfrastruktur wie z. B. Ampeln als virtuelle Objekte dargestellt werden. Die Darstellung kann mit einer erweiterten Funktion zur Interaktion einer Testperson mit den virtuellen Objekten verbunden sein. Eine virtuelle Ampel kann durch die Testperson betätigt werden und es kann deren Anzeige für die Testperson visualisiert werden. Die zu simulierende Bewegung des virtuellen Testfahrzeugs wird im Ausgangspunkt der Simulation durch eine geplante, vordefinierte Bewegungstrajektorie beschrieben. Dies kann in einem einfachen Fall eine Geradeausfahrt mit einer konstanten Geschwindigkeit sein. Das zu testende Assistenzsystem beeinflusst das Verhalten des virtuellen Testfahrzeuges. Die zu testende Funktion des Assistenzsystems ist dabei in einem Algorithmus verwirklicht, der in der Simulationsumgebung ausgeführt/simuliert wird. Hierfür werden dem Algorithmus Daten aus der Umfeldsimulation bereitgestellt, welche das Ausgangsverhalten des Algorithmus und somit dessen Einfluss auf die geplante, vordefinierte Bewegungstrajektorie des virtuellen Testfahrzeuges oder alternativ eine andere Fahrzeugfunktion beeinflussen. Wird ein Assistenzsystem getestet, welches vorzugsweise Richtung und/oder Geschwindigkeit des virtuellen Testfahrzeuges beeinflusst, so entsteht aus der geplanten Bewegungstrajektorie und dem Eingriff des Assistenzsystems z. B. auf Lenkung und/oder Bremse eine aus der Überlagerung dieser Einflüsse auf das virtuelle Testfahrzeug entstehende, resultierende Bewegungstrajektorie, welcher dieses in der Simulation folgt. Das virtuelle Testfahrzeug und weitere Objekte der Umfeldsimulation werden in einem Testgelände wenigstens einer Testperson visualisiert. Dies kann z. B. durch eine Umfeldprojektion oder durch eine VR-Brille erfolgen. Es wird dabei wenigstens die Position der Testperson innerhalb des Testgeländes mit einer Sensorik erfasst. Diese Sensorik kann aus einer oder mehreren Kameras, Radarsensoren, optischen Sensoren oder anderen bildgebenden Sensoren bestehen. Zur Positionsermittlung können mehrere ggf. unterschiedliche Sensoren genutzt werden, die z. B. über eine Triangulation der Entfernungsmessung zur Positionsbestimmung ausgewertet werden. Weiterhin kann eine Größen- und/oder Geschwindigkeitserfassung erfolgen. Die Testperson kann alternativ oder zusätzlich eine Positionsmarkierung tragen, welche durch die Sensorik angepeilt wird. Es ist alternativ möglich, dass die Sensorik zur Positionsbestimmung von der Person selbst getragen wird und diese ihre Positionsdaten zur Weiterverarbeitung in der Simulationsumgebung an diese übermittelt. Aus den Positionsdaten der Testperson wird in der Simulationsumgebung ein virtuelles Objekt der Testperson gebildet. Somit wird die Testperson durch ihr virtuelles Objekt in der Simulationsumgebung „sichtbar“. Die Position des virtuellen Objektes wird dabei in lagerichtige Relation zur Darstellung des virtuellen Testfahrzeuges synchronisiert, so dass die durch die Visualisierung erzeugte Wahrnehmung aus Sicht der Testperson lagerichtig synchronisiert zur Lage des virtuellen Objekts der Testperson in der Simulation erfolgt. Die Synchronisation erfolgt derart, dass die Relativlage des virtuellen Objektes der Testperson zu den virtuellen Objekten der Umfeldsimulation und zum virtuellen Testfahrzeug dem entspricht, was der Testperson in der Visualisierung dargestellt wird. Die Lageorientierung der virtuellen Simulationsumgebung und der Darstellung im Testgelände werden somit in Übereinstimmung gebracht. Weiterhin erfolgen die Simulation, Positionserfassung und Übertragung in die Simulationsumgebung sowie die Visualisierung für die Testperson zeitlich synchronisiert. Positionsänderungen der Testperson im Testgelände haben daher eine entsprechende gleichzeitige Änderung der Position des virtuellen Objektes der Testperson in der Simulationsumgebung zur Folge. Die Position und ggf. weitere die Testperson beschreibende Merkmale wie Ausdehnung, Bewegungsrichtung und Geschwindigkeit werden als Eigenschaften des virtuellen Objektes der Testperson an die Simulationsumgebung übergeben und sind Eingangsgrößen für die zu testende Funktion. In Abhängigkeit von den Eigenschaften des virtuellen Objektes können diese hinsichtlich ihrer Erfassungsgüte in der Abbildung variieren. So kann z. B. eine Positionsungenauigkeit bei einem sich schnell bewegenden Objekt mit abgebildet werden, so dass ein virtuelles Objekt oder das aus einem realen Objekt z. B. der Testperson gebildete virtuelle Objekt mit einer Positionsunschärfe in der Simulationsumgebung abgebildet wird. Eine rennende Testperson wird so z. B. ungenauer abgebildet als eine sich langsam bewegende.The method according to the invention serves to test an environment-based assistance system. These environment-based assistance systems are stimulated by environmental information by capturing environmental information via sensors. The assistance systems interact with a vehicle and / or driver, wherein in a simple case z. B. indicate a warning of an imminent collision. The environment-based assistance systems can control actuators, influence vehicle functions or even carry out complex control actions, such B. lead a vehicle partially or fully autonomous. For the method according to the invention, the assistance system is embedded in a simulation environment. It can run as software or hardware in the loop simulated algorithm. For this purpose, the test method has an environment simulation in which at least one virtual test vehicle is simulated. The environment simulation can have a traffic space which has further virtual objects, such as roads, markings, obstacles, etc. In addition, additional objects of the transport infrastructure, such B. Traffic lights are represented as virtual objects. The presentation may be associated with an advanced feature for interacting with a subject with the virtual objects. A virtual traffic light can be actuated by the test person and their display can be visualized for the test person. The simulation of the virtual test vehicle to be simulated is described in the starting point of the simulation by a planned, predefined movement trajectory. In a simple case, this can be a straight-ahead travel at a constant speed. The assistance system to be tested influences the behavior of the virtual test vehicle. The function to be tested The assistance system is implemented in an algorithm that is executed / simulated in the simulation environment. For this purpose, the algorithm provides data from the surrounding simulation, which influence the output behavior of the algorithm and thus its influence on the planned, predefined movement trajectory of the virtual test vehicle or alternatively another vehicle function. If an assistance system is tested which preferably influences the direction and / or speed of the virtual test vehicle, the result is the planned movement trajectory and the intervention of the assistance system z. B. steering and / or brake resulting from the superposition of these influences on the virtual test vehicle resulting movement trajectory, which this follows in the simulation. The virtual test vehicle and other objects of the environment simulation are visualized in a test area of at least one test person. This can be z. B. by an environment projection or by a VR glasses done. At least the position of the test person within the test area is detected with a sensor system. This sensor system can consist of one or more cameras, radar sensors, optical sensors or other imaging sensors. For determining the position of several possibly different sensors can be used, the z. B. be evaluated via a triangulation of the distance measurement for position determination. Furthermore, a size and / or speed detection can take place. The subject may alternatively or additionally wear a position marker targeted by the sensor. It is alternatively possible for the sensor for position determination to be carried by the person himself and to transmit this position data to the simulation environment for further processing. From the position data of the test person, a virtual object of the test person is formed in the simulation environment. Thus, the subject becomes "visible" through their virtual object in the simulation environment. The position of the virtual object is synchronized in position-correct relation to the representation of the virtual test vehicle, so that the perception generated by the visualization from the point of view of the test person is in the correct position synchronized to the position of the virtual object of the test person in the simulation. The synchronization takes place in such a way that the relative position of the virtual object of the test person to the virtual objects of the surrounding simulation and to the virtual test vehicle corresponds to what the test person is presented in the visualization. The orientation of the virtual simulation environment and the presentation in the test area are thus brought into agreement. Furthermore, the simulation, position detection and transmission into the simulation environment as well as the visualization for the test person synchronized in time. Position changes of the test person in the test area therefore result in a corresponding simultaneous change of the position of the virtual object of the test person in the simulation environment. The position and possibly further features describing the subject, such as extent, direction of movement and speed, are transferred to the simulation environment as properties of the virtual object of the subject and are input variables for the function to be tested. Depending on the properties of the virtual object, these can vary in terms of their coverage quality in the figure. So z. B. a position inaccuracy in a fast-moving object to be imaged, so that a virtual object or from a real object z. B. the test person formed virtual object is imaged with a position blur in the simulation environment. A running test person is z. B. imaged less accurate than a slowly moving.

Der die Funktion abbildende Algorithmus wird durch die Position oder weiterführend durch die Änderung der Position des in der Simulationsumgebung erzeugten virtuellen Objektes der Testperson hinsichtlich seines simulierten Ausgangsverhaltens beeinflusst. Gleichzeitig erfolgt für die Testperson eine zur Simulation lagerichtige Visualisierung der Umfeldsimulation und wenigstens des virtuellen Testfahrzeuges. Es wird die Bewegung des Testfahrzeuges aus der Überlagerung der Einflüsse des Assistenzsystems auf die geplanten vordefinierten Bewegungstrajektorien durch die resultierende Bewegungstrajektorie des virtuellen Testfahrzeuges abgebildet und fusioniert mit den Daten der Umfeldsimulation der Testperson lagerichtig zur Simulation visualisiert.The algorithm mapping the function is influenced by the position or further by the change of the position of the virtual object of the test person generated in the simulation environment with regard to its simulated output behavior. At the same time, a visualization of the surroundings simulation, and at least of the virtual test vehicle, takes place for the test person in the correct position for simulation. The movement of the test vehicle from the superimposition of the influences of the assistance system on the planned predefined movement trajectories is mapped by the resulting movement trajectory of the virtual test vehicle and fused to the data of the environment simulation of the test person in the correct position for simulation visualization.

In einer vorteilhaften Ausführung des Testverfahrens entspricht die geplante vordefinierte Bewegungstrajektorie des virtuellen Testfahrzeuges einem definierten Testszenario zur Bewertung von umfeldbasierten Assistenzsystemen. Typische Testszenarien können dabei in einer Art Datenbank abgelegt sein. Diese kann in einem einfachen Fall einfache zu fahrende Bahnkurven enthalten oder komplexe Verkehrsszenarien mit weiteren Objekten. Das Testszenario ist dabei so aufbereitet, dass es Eingangsdaten für die Umfeldsimulation und die Simulation des virtuellen Testfahrzeuges generiert, welche weiterhin für die Testperson visualisierbar sind.In an advantageous embodiment of the test method, the planned predefined movement trajectory of the virtual test vehicle corresponds to a defined test scenario for evaluating environment-based assistance systems. Typical test scenarios can be stored in a kind of database. In a simple case, this can contain simple trajectories or complex traffic scenarios with other objects. The test scenario is prepared in such a way that it generates input data for the environment simulation and the simulation of the virtual test vehicle, which can still be visualized for the test person.

Erfindungsgemäß vorteilhaft erfolgt die Positionserfassung der Testperson im Testgelände durch eine Sensorik. Die Position wird in einem definierten Koordinatensystem des Testgeländes ermittelt oder relativ zu definierten Fixpunkten im Testgelände beschrieben. Die Positionsbeschreibung ist dabei in die Simulationsumgebung übertragbar. Es erfolgt eine lagerichtige Synchronisation zwischen Simulationsumgebung und Testgelände. Die Position der Testperson wird auf eine entsprechende Position des virtuellen Objektes der Testperson abgebildet und es erfolgt eine dazu synchronisierte lagerichtige Visualisierung des virtuellen Testfahrzeuges und der Umfeldsimulation. Die Visualisierung für die Testperson erfolgt lagerichtig synchronisiert, so als würde sich die Testperson an der entsprechenden Stelle im virtuellen Testszenario befinden.According to the invention, the position detection of the test person in the test area is advantageously carried out by a sensor system. The position is determined in a defined coordinate system of the test area or described relative to defined fixed points in the test area. The position description can be transferred to the simulation environment. There is a correct position synchronization between simulation environment and test area. The position of the Subject is mapped to a corresponding position of the virtual object of the test person and there is a synchronized positionally correct visualization of the virtual test vehicle and the environment simulation. The visualization for the test subject is synchronized in the correct position, as if the test subject were in the appropriate place in the virtual test scenario.

Erfindungsgemäß vorteilhaft wird in einer bevorzugten Ausführung der Erfindung eine ortsfeste bildgebende oder den Abstand messende Sensorik genutzt, welche wenigstens die Position der Testperson ermittelt. Für eine weitergehende Verarbeitung wird zu den Positionsdaten ein virtuelles Objekt in der Simulationsumgebung erzeugt, das mindestens durch seine Position im Testgelände gekennzeichnet ist. Das virtuelle Objekt der Testperson kann weitere Parameter aufweisen, die dessen Größe und/oder Geschwindigkeit und/oder Bewegungsrichtung kennzeichnen. In einem weiteren Verarbeitungsschritt wird das virtuelle Objekt der Testperson lagerichtig in die Simulationsumgebung eingefügt.According to the invention, in a preferred embodiment of the invention, a fixed imaging or distance-measuring sensor is used which determines at least the position of the subject. For further processing, a virtual object is generated for the position data in the simulation environment, which is characterized at least by its position in the test area. The virtual object of the subject may have further parameters that characterize its size and / or speed and / or direction of movement. In a further processing step, the virtual object of the test person is inserted in the correct position in the simulation environment.

In einer weiteren Ausgestaltung der Erfindung werden zusätzlich zur Position der Testperson weitere reale Objekte im Testgelände erfasst und als virtuelle Objekte in die Simulation eingefügt. Es ist damit möglich, z. B. auf einer Teststrecke mit einer vorgegebenen Spurmarkierung die Simulation des virtuellen Testfahrzeugs anzupassen, indem die Fahrspurmarkierungen als virtuelle Objekte dem virtuellen Testfahrzeug bereitgestellt werden. Das virtuelle Fahrzeug kann somit entsprechend der Spurlage simuliert und lagerichtig zur Spurlage des Testgeländes der Testperson z. B. mittels Augmented Reality visualisiert werden.In a further embodiment of the invention, in addition to the position of the test subject, further real objects are detected in the test area and inserted into the simulation as virtual objects. It is thus possible, for. B. on a test track with a predetermined lane marking to adapt the simulation of the virtual test vehicle by the lane markers are provided as virtual objects the virtual test vehicle. The virtual vehicle can thus be simulated according to the tracking and in the correct position for tracking the test area of the subject z. B. visualized by means of augmented reality.

Weiterhin ist es möglich, weitere Elemente einer realen Verkehrsinfrastruktur z. B. eine Fußgängerampel zu erfassen. Diese wird gleichfalls als virtuelles Objekt in die Simulationsumgebung lagerichtig eingebunden. Hierbei können weitere Eigenschaften der Verkehrsinfrastruktur als virtuelles Objekt übergeben werden z. B. kann für eine Fußgängerampel deren Lichtsignal erfasst werden, so dass ein virtuelles Testfahrzeug auf das virtuelle Objekt der realen Verkehrsinfrastruktur in der Simulation reagieren kann. Des Weiteren ist es möglich, zusätzliche Sensorquellen z. B. von Smart-Devices an die Simulationsumgebung anzubinden. Diese stellen der Simulationsumgebung zusätzliche Informationen zur Verfügung, deren Güte durch die Testperson beeinflusst werden kann. Ein Beispiel wäre ein Smart-Phone, welches seine Positions- und Bewegungsdaten an die Simulationsumgebung überträgt. Durch starke Beanspruchung des Smartphones durch die Testperson könnte z. B. die Sendefrequenz der Informationen reduziert werden. Durch zusätzliches Bewegen des Smartphones kann die Genauigkeit der Positions- und Bewegungsinformationen beeinflusst werden. Mit Hilfe der Testumgebung soll der Einfluss auf die zu testende Funktion durch die Verwendung dieser zusätzlichen Sensorquellen untersucht und bewertet werden. Eine alternative Sensorquelle, welche als zusätzliche Sensorik in die Simulationsumgebung eingebunden werden könnte, sind Sensoren der Verkehrsinfrastruktur wie z. B. eine Kamera, welche z. B. an einer Ampel angeordnet ist und die Daten erkannter Fußgängerobjekte an die Fahrzeuge überträgt.Furthermore, it is possible to further elements of a real transport infrastructure z. B. to detect a pedestrian light. This is likewise integrated as a virtual object in the simulation environment in the correct position. In this case, further properties of the traffic infrastructure can be transferred as a virtual object z. B. can be detected for a pedestrian traffic light whose light signal, so that a virtual test vehicle can respond to the virtual object of the real transport infrastructure in the simulation. Furthermore, it is possible to use additional sensor sources z. B. connect smart devices to the simulation environment. These provide the simulation environment with additional information whose quality can be influenced by the test person. An example would be a smart phone, which transmits its position and movement data to the simulation environment. By heavy use of the smartphone by the test person could z. B. the transmission frequency of the information can be reduced. Additional movement of the smartphone can affect the accuracy of the position and motion information. The purpose of the test environment is to investigate and evaluate the influence on the function to be tested by using these additional sensor sources. An alternative sensor source, which could be integrated as additional sensors in the simulation environment, are sensors of the transport infrastructure such. B. a camera, which z. B. is located at a traffic light and transmits the data of detected pedestrian objects to the vehicles.

In einer vorteilhaften Ausgestaltung wird eine Vorrichtung zum Test eines umfeldbasierten Assistenzsystems geschaffen, indem in einem Testgelände eine Sensorik zur Erfassung der Position wenigstens einer Testperson angeordnet ist. Weiterhin ist eine Vorrichtung zur Visualisierung vorhanden, durch welche der Testperson im Testgelände eine virtuell generierte Umfeldsimulation anzeigbar ist. Die Umfeldsimulation ist dabei von einem Standort der Testperson darstellbar und an eine sich ändernde Position der Testperson in der Umfeldsimulation anpassbar. Der Simulationsumgebung für die Umfeldsimulation werden seitens der Sensorik erfasste Positionsdaten einer Testperson als Eingangsgrößen zugeführt, wobei ein Objektgenerator vorhanden ist, durch den ein virtuelles Objekt der Testperson erzeugbar und der Umfeldsimulation hinzufügbar ist. Durch die Vorrichtung zur Visualisierung sind simulierte, virtuelle Objekte aus einer Umfeldsimulation in lagerichtiger Zuordnung zur Position der Testperson anzeigbar. Eine durch wenigstens eine Recheneinheit gebildete Simulationsumgebung erzeugt das wenigstens eine virtuelle Testfahrzeug und die Objekte der Umgebungssimulation, wobei deren Verhalten entsprechend eines vorgegebenen Verkehrsszenarios simuliert wird, wobei eine Datenkopplung zwischen der Sensorik zur Positionserfassung der Testperson im Testgelände und der Simulationsumgebung zur Übertragung wenigstens der Positionsdaten der Testperson vorhanden ist und weiterhin ein Ausgabesignal zur Darstellung der Umgebungssimulation und des virtuellen Testfahrzeuges vorhanden ist, welche der Vorrichtung zur Visualisierung im Testgelände anliegt, so dass die durch die Simulationsumgebung erzeugten, virtuellen Objekte lagerichtig zur Position der Testperson für diese visualisierbar sind.In an advantageous embodiment, a device for testing an environment-based assistance system is provided by a sensor system for detecting the position of at least one subject is arranged in a test area. Furthermore, a device for visualization is available, through which the test person in the test area a virtually generated environment simulation can be displayed. The environment simulation can be represented by a location of the test person and adapted to a changing position of the subject in the environment simulation. The simulation environment for the environment simulation, sensor data recorded position data of a test person are supplied as input variables, wherein an object generator is present, through which a virtual object of the test person generated and the environment simulation is added. By the device for visualization simulated, virtual objects from an environment simulation in the correct position assignment to the position of the test person can be displayed. A simulation environment formed by at least one computing unit generates the at least one virtual test vehicle and the objects of the environment simulation, whose behavior is simulated according to a predetermined traffic scenario, wherein a data coupling between the sensor for position detection of the test person in the test area and the simulation environment for transmitting at least the position data of the A test person is present and further an output signal for displaying the environmental simulation and the virtual test vehicle is present, which is applied to the device for visualization in the test area, so that the generated by the simulation environment, virtual objects are in the correct position for the position of the subject for this visualized.

Weitere vorteilhafte Ausführungen sind der folgenden detaillierten Beschreibung zu entnehmen.Further advantageous embodiments can be found in the following detailed description.

Hierbei zeigen:

- 1 eine schematische Darstellung eines Testgeländes und
- 2 eine schematische Darstellung des Testverfahrens bzw. der Testvorrichtung.

Hereby show:

- 1 a schematic representation of a test area and
- 2 a schematic representation of the test method or the test device.

Das in 1 schematisch dargestellte Testgelände 1 weist eine Sensorik 6 zur Positionserfassung einer sich im Testgelände 1 befindenden Testperson 2 auf. Die Sensorik 6 ist einer Simulationseinheit 3 angeschlossen, welche aus Soft- und Hardwarekomponenten besteht und auf welcher eine Simulation für den Test von umfeldbasierten Fahrerassistenzsystemen abläuft. Ausgangsgröße der Simulation und damit Schnittstelle zum realen Testgelände 1 ist eine durch den Pfeil 4 dargestellte Möglichkeit zur Visualisierung der simulierten Objekte für die Testperson 2, wobei die Visualisierung z. B. durch eine VR-Brille (Virtual Reality Brille zur 3-dimensionalen Umgebungswahrnehmung) erfolgen kann. Das Testgelände 1 kann weiterhin weitere reale Objekte, wie beispielsweise die hier dargestellten Fahrbahnmarkierungen 5 aufweisen. Diese können durch die Sensorik 6 gleichsam erfasst werden und der Testperson 2 als virtuelle Objekte 9 in der Visualisierung eingeblendet werden. Es kann aber auch eine Überblendung der Visualisierung und der Realobjekte in Form einer „Augmented Reality“ erfolgen, indem die virtuellen Objekte 9 aus der Simulation der Testperson 2 so visualisiert werden, dass sie den für die Testperson 2 sichtbaren Fahrbahnmarkierungen 5 überlagert werden. Für eine lagerichtige Simulation der virtuellen Objekte 9 aus der Simulation wird die Position der Testperson 2 im Testgelände 1 erfasst und entsprechend ihres Standortes und Sichtbereiches werden ihr die virtuellen Objekte 9 visualisiert. Es ist damit möglich, dass sich die Testperson 2 frei in einer simulierten Szene bewegt, indem die Visualisierung ihrem Standort und Blickwinkel angepasst wird. Die Synchronisierung kann dabei anhand eines gemeinsamen Koordinatensystems erfolgen, welches aus dem Testgelände 1 in die Simulation übertragen wird oder es erfolgt eine Relativzuordnung zu Fixpunkten im Testgelände 1, z. B. zu den Fahrspurmarkierungen oder anderen - nicht dargestellten - Referenzpunkten.This in 1 schematically shown test area 1 has a sensor 6 to Position detection of one in the test area 1 the subject 2 on. The sensors 6 is a simulation unit 3 connected, which consists of software and hardware components and on which runs a simulation for the test of environment-based driver assistance systems. Initial size of the simulation and thus interface to the real test area 1 is one by the arrow 4 illustrated possibility for visualization of the simulated objects for the subject 2 , wherein the visualization z. B. by a VR glasses (virtual reality glasses for 3-dimensional environmental perception) can be done. The test area 1 can still further real objects, such as the lane markings shown here 5 exhibit. These can be through the sensors 6 as it were recorded and the test person 2 as virtual objects 9 in the visualization. But it can also be a blending of the visualization and the real objects in the form of an "augmented reality" done by the virtual objects 9 from the simulation of the subject 2 be visualized so that they are the test subject 2 visible road markings 5 be superimposed. For a correct position simulation of the virtual objects 9 From the simulation, the position of the subject becomes 2 in the test area 1 and according to their location and field of view they become the virtual objects 9 visualized. It is thus possible that the subject 2 moving freely in a simulated scene by adjusting the visualization to its location and perspective. The synchronization can be done using a common coordinate system, which from the test area 1 is transferred into the simulation or there is a relative assignment to fixed points in the test area 1 , z. B. to the lane markings or other - not shown - reference points.

2 zeigt in einer schematischen Darstellung das Verfahren und die Vorrichtung zum Test umfeldbasierter Assistenzsysteme. Dargestellt sind eine Simulationsumgebung 8, welche auf der in 1 gezeigten Simulationseinheit 3 abläuft und das Testgelände 1, in welchem sich die Testperson 2 befindet. Die Sensorik 6 zur Positionserfassung ist gleichfalls im Testgelände 1 vorgesehen und liefert wenigstens die Positionsdaten der Testperson 2 an die Simulationsumgebung 8. Eine Visualisierung 10 erfolgt z. B. mit einer VR-Brille, welche an einen Ausgang der Simulationsumgebung 8 angeschlossen ist, so dass in der Simulationsumgebung 8 simulierte virtuelle Objekte 9 der Testperson 2 visualisiert werden können, was durch den Pfeil 4 symbolisiert wird. In der Simulationsumgebung 8 wird ein Algorithmus ausgeführt, der die zu testende Funktion des umfeldbasierten Fahrerassistenzsystems, z. B. einer Funktion zur Kollisionsvermeidung mit Fußgängern, abbildet. Dieser Algorithmus wird durch den Simulationsblock 18 symbolisiert. Zum Test der umfeldbasierten Fahrerassistenzsysteme in der Simulation werden z. B. aus einem Testkatalog oder aus realen Fahrdaten Verkehrsszenarien genutzt. In einer möglichen Ausführungsform wird eine Testszene 17 simuliert, wobei diese wenigstens ein virtuelles Testfahrzeug 7 enthält, das in eine Umfeldsimulation 15 eingebettet ist. Die Umfeldsimulation 15 enthält weitere virtuelle Objekte einer Verkehrsumgebung, wie Straßen, Markierungen, Verkehrszeichen usw. In einer Testszene 17 wird das virtuelle Testfahrzeug 7 mit einer aus dem Testszenario stammenden geplanten Trajektorie beschrieben, welche z. B. Richtungs- und/oder Geschwindigkeitsdaten des Testfahrzeuges enthält. Das virtuelle Testfahrzeug 7 wird dabei Software- oder Hardware in the Loop simuliert. Die Fahrdynamik eines realen Fahrzeuges kann je nach Ausbaustufe der Simulation in dem virtuellen Testfahrzeug 7 abgebildet werden. In einem einfachen Fall erfolgt eine Geradeausfahrt mit einer von der Testszene vorgegebenen Geschwindigkeit. Es sind weiterhin auch komplexe Trajektorien denkbar, in denen die geplante Bewegungsrichtung und Geschwindigkeit variieren. Weiterhin kann die Testszene 17 Daten z. B. zu Fahrbahnmarkierungen 5 enthalten, welche über ein Sensormodell dem virtuellen Testfahrzeug 7 vorgegeben werden, so dass die gefahrene Trajektorie entsprechend erkannter Fahrbahnmarkierungen 5 abgefahren wird. Hierfür können die Daten aus der Testszene 17, welche in der Umfeldsimulation 15 abgespielt werden, dem die Fahrdynamik beeinflussenden Simulationsblock 18 vorgegeben werden. In der Simulation wirkt der Simulationsblock 18 auf Basis der Umfelddaten auf das virtuelle Testfahrzeug 7 und dieses bewegt sich entsprechend der simulierten Testszene 17 auf Basis der Überlagerung der geplanten Trajektorie und der Einflussnahme der Bewegungssimulation durch die aus der Umfeldsimulation 15 stammenden Daten. Der Simulationsablauf der Testszene 17, des virtuellen Testfahrzeuges 7, der Bewegungssimulation auf Basis der Umfeldsimulation 15 und die entsprechende Beeinflussung des virtuellen Testfahrzeuges 7 sowie die Visualisierung 10 entsprechen der bekannten Software / Hardware in the Loop Simulation, bei welcher z. B. über Sensormodelle Testdaten in das virtuelle Testfahrzeug 7 eingespeist werden und durch eine Fahrdynamiksimulation z. B. über Aktor- und Fahrzeugmodelle Stellaktionen simuliert und letztlich die Bewegung des virtuellen Testfahrzeuges 7 simuliert werden. Der erfindungsgemäße Gedanke erweitert die Simulationsmöglichkeit um eine reale Testperson 2 und deren Einfluss auf den zu testenden die Fahrerassistenzfunktion abbildenden Algorithmus. Im Gegensatz z. B. zu einer Vehicle in the loop Simulation, bei welcher das reale Testfahrzeug den zu simulierenden Algorithmus der zu testenden Fahrerassistenzfunktion ausführt, wird dieser gleichfalls in der Simulationsumgebung 8 im Simulationsblock 18 ausgeführt. Der Algorithmus erhält dabei die Eingangsdaten der Umfeldsimulation 15 aus der Testszene 17, wobei weiterhin wenigstens ein virtuelles Objekt 9, dass z. B. durch einen in der Simulation vorgesehenen Objektgenerator 12 gebildet wird, als weitere Eingangsgröße dem zu simulierenden Algorithmus der zu testenden Assistenzfunktion anliegt. Das virtuelle Objekt 9 ist dabei nicht Teil der Testszene 17, sondern wird gesondert aus der Positionserfassung der Testperson 2 im Testgelände 1 generiert. Die Testperson 2 wird als virtuelles Objekt 9 ein weiteres Eingangsobjekt des Simulationsblocks 18. Position und Bewegung der Testperson 2 werden somit Teil der Simulation. Die Positionserfassung 6 im Testgelände 1 ermöglicht es, die Bewegung der Testperson 2 zu erfassen und deren Position bzw. Positionsänderung auf das virtuelle Objekt 9 zu übertragen. Bewegt sich die Testperson 2 im Testgelände 1, so erfolgt eine entsprechende Bewegung des virtuellen Objektes 9 in der Simulationsumgebung 8. Über eine Visualisierung 10 werden der Testperson 2 das virtuelle Testfahrzeug 7 und die virtuellen Objekte 9 der Umfeldsimulation 15 als fusionierte Darstellung angezeigt. Die Testperson 2 ist damit in der Lage, die Testszene 17 also die Position und Bewegung des virtuellen Testfahrzeuges 7 sowie die Objekte der Umfeldsimulation 15 wahrzunehmen. Für eine funktionierende Interaktion der Testperson 2 im Testgelände 1 mit der in der Simulationsumgebung 8 ablaufenden Testszene 17 bedarf es einer zur Position des virtuellen Objektes 9 lagerichtigen Visualisierung 10 der Testszene 17 für die Testperson 2 und eine entsprechende Synchronisation der Position bzw. Bewegung des virtuellen Objektes 9 der Testperson 2 in der Simulationsumgebung 8. Die Position und Bewegung der Objekte in der Simulationsumgebung 8 und deren Darstellung in der Visualisierung 10 sowie die Einkopplung der Bewegung der Testperson 2 als virtuelles Objekt 9 müssen zeitlich und lagerichtig synchronisiert werden. Hierfür kann ein gemeinsames Koordinatensystem genutzt werden, so dass die virtuellen Objekte 9 der Simulationsumgebung 8 entsprechend der Testperson 2 lagerichtig visualisiert werden und eine Wahrnehmung entsprechend dem Standort der Testperson 2 möglich wird. Weiterhin kann erweiternd die Blickrichtung der Testperson 2 erfasst werden, so dass eine Rundumsicht ermöglicht wird. Das gleiche Koordinatensystem wird dabei ggf. transformiert oder entsprechend skaliert in der Simulationsumgebung 8 genutzt. So wird eine lagerichtige Visualisierung 10 entsprechend dem Standort der Testperson 2 im Testgelände 1 gesichert. Eine weitere ggf. zusätzliche Möglichkeit ist die lagerichtige Synchronisation über Fixpunkte des Testgeländes. In einer beispielhaften Ausgestaltung verfügt das Testgelände über Straßenmarkierungen oder andere ortsunveränderliche Referenzpunkte. In Form z. B. einer „Augmented Reality“ kann die Testperson 2 sowohl die realen Straßenmarkierungen im Testgelände 1 als auch die aus der Visualisierung 10 stammenden Objekte wahrnehmen. Diese werden überlagert der Testperson 2 visualisiert. Die Markierungen können Teil der Testszene 17 sein und in dieser lagerichtig zum Testgelände 1 verwirklicht sein oder sie werden ebenfalls als virtuelle Objekte 9 in die Simulationsumgebung 8 eingekoppelt. Das virtuelle Testfahrzeug 7 kann diese z. B. als Eingangsgrößen über ein Sensormodell erhalten. Das virtuelle Testfahrzeug 7 könnte so der Fahrspur des Testgeländes 1 entsprechend folgen, da diese als virtuelles Objekt 9 in der Simulationsumgebung 8 abgebildet werden kann. Die Interaktion der Testperson 2 mit der Simulationsumgebung 8 ermöglicht eine besonders realitätsnahe Wahrnehmung der Testszene 17. Zum Einen ist es möglich, innerhalb der Testszene 17 den Betrachterstandpunkt frei zu wählen, weiterhin ist die Wirkung der Bewegung in der Testszene 17 auf den zu testenden Algorithmus direkt beobachtbar. Wird beispielsweise ein kollisionsvermeidendes Assistenzsystem getestet, dessen Algorithmus im Simulationsblock 18 abgebildet ist, dann kann die Testperson 2 diesen direkt beeinflussen. Es kann z. B. bei Annäherung eines Fahrzeugs die durch die Simulation des kollisionsvermeidenden Algorithmus hervorgerufene Ausweichbewegung des virtuellen Testfahrzeuges 7 direkt aus der Perspektive der Testperson 2 beurteilt werden. Die Testperson 2 kann somit die simulierten Objekte aus der von ihr gewählten Betrachterperspektive verfolgen und durch eigene Handlungen beeinflussen. 2 shows a schematic representation of the method and the device for testing environment-based assistance systems. Shown are a simulation environment 8th which on the in 1 shown simulation unit 3 expires and the test area 1 in which the subject is 2 located. The sensors 6 for position detection is also in the test area 1 provided and supplies at least the position data of the subject 2 to the simulation environment 8th , A visualization 10 takes place for. B. with a VR glasses, which at an output of the simulation environment 8th is connected, so in the simulation environment 8th simulated virtual objects 9 the subject 2 can be visualized by the arrow 4 is symbolized. In the simulation environment 8th an algorithm is executed which determines the function to be tested of the environment-based driver assistance system, e.g. B. a function for collision avoidance with pedestrians, maps. This algorithm is passed through the simulation block 18 symbolizes. To test the environment-based driver assistance systems in the simulation z. B. from a test catalog or from real driving data traffic scenarios used. In one possible embodiment, a test scene 17 simulated, this at least one virtual test vehicle 7 contains that in an environment simulation 15 is embedded. The environment simulation 15 contains other virtual objects of a traffic environment, such as roads, markers, traffic signs, etc. In a test scene 17 becomes the virtual test vehicle 7 described with a coming from the test scenario planned trajectory, which z. B. direction and / or speed data of the test vehicle contains. The virtual test vehicle 7 It simulates software or hardware in the loop. The driving dynamics of a real vehicle can, depending on the level of expansion of the simulation in the virtual test vehicle 7 be imaged. In a simple case, driving straight ahead takes place at a speed specified by the test scene. Furthermore, complex trajectories are also conceivable in which the planned direction of movement and speed vary. Furthermore, the test scene 17 Data z. B. to road markings 5 containing, via a sensor model, the virtual test vehicle 7 be given, so that the trajectory traversed according to recognized lane markings 5 is traversed. For this, the data from the test scene 17 , which in the environment simulation 15 be played, the driving dynamics influencing simulation block 18 be specified. The simulation block works in the simulation 18 based on the environmental data on the virtual test vehicle 7 and this moves according to the simulated test scene 17 based on the superimposition of the planned trajectory and the influence of the motion simulation by the environment simulation 15 originating data. The simulation process of the test scene 17 , the virtual test vehicle 7 , the motion simulation based on the environment simulation 15 and the corresponding influence on the virtual test vehicle 7 as well as the visualization 10 correspond to the known software / hardware in the loop simulation, in which z. B. via sensor models test data in the virtual test vehicle 7 be fed and by a vehicle dynamics simulation z. For example, it simulates actuator actions and vehicle models, and finally the movement of the virtual test vehicle 7 be simulated. The idea according to the invention extends the simulation possibility by a real subject 2 and their influence on the algorithm to be tested mapping the driver assistance function. In contrast, for. B. to a vehicle in the loop simulation, in which the real test vehicle executes the simulated algorithm of the driver assistance function to be tested, this is also in the simulation environment 8th in the simulation block 18 executed. The algorithm receives the input data of the surrounding simulation 15 from the test scene 17 , wherein furthermore at least one virtual object 9 that z. B. by an intended in the simulation object generator 12 is formed as another input to the simulated algorithm of the test to be tested assistance function. The virtual object 9 is not part of the test scene 17 but is separated from the position of the subject 2 in the test area 1 generated. The subject 2 is called a virtual object 9 another input object of the simulation block 18 , Position and movement of the subject 2 become part of the simulation. The position detection 6 in the test area 1 allows the movement of the subject 2 and their position or position change to the virtual object 9 transferred to. Does the subject move? 2 in the test area 1 , so there is a corresponding movement of the virtual object 9 in the simulation environment 8th , About a visualization 10 become the test person 2 the virtual test vehicle 7 and the virtual objects 9 the environment simulation 15 displayed as a merged representation. The subject 2 is thus able to test the scene 17 So the position and movement of the virtual test vehicle 7 as well as the objects of the surrounding simulation 15 perceive. For a working interaction of the test person 2 in the test area 1 with the in the simulation environment 8th running test scene 17 it requires one to the position of the virtual object 9 in-line visualization 10 the test scene 17 for the subject 2 and a corresponding synchronization of the position or movement of the virtual object 9 the subject 2 in the simulation environment 8th , The position and movement of the objects in the simulation environment 8th and their representation in the visualization 10 as well as the coupling of the movement of the subject 2 as a virtual object 9 must be synchronized in time and in the correct position. For this purpose, a common coordinate system can be used, so that the virtual objects 9 the simulation environment 8th according to the subject 2 be visualized in the correct position and a perception according to the location of the subject 2 becomes possible. Furthermore, the viewing direction of the test subject can widen 2 be captured so that a panoramic view is possible. If necessary, the same coordinate system is transformed or scaled accordingly in the simulation environment 8th used. This is how a correctly positioned visualization becomes 10 according to the location of the subject 2 in the test area 1 secured. Another possibly additional possibility is the correct position synchronization over fixed points of the test area. In an exemplary embodiment, the test area has road markings or other non-stationary reference points. In the form of z. B. an "augmented reality", the test person 2 both the real road markings in the test area 1 as well as from the visualization 10 perceive originating objects. These are superimposed on the subject 2 visualized. The markers can be part of the test scene 17 and in this position correct to the test area 1 be realized or they will also be virtual objects 9 into the simulation environment 8th coupled. The virtual test vehicle 7 can this z. B. obtained as input variables via a sensor model. The virtual test vehicle 7 could be the lane of the test area 1 follow accordingly, as this as a virtual object 9 in the simulation environment 8th can be displayed. The interaction of the subject 2 with the simulation environment 8th enables a particularly realistic perception of the test scene 17 , For one, it is possible within the test scene 17 to choose the viewer's point of view, continues to be the effect of movement in the test scene 17 directly observable on the algorithm to be tested. For example, if a collision avoiding assistance system is tested, its algorithm in the simulation block 18 is pictured, then the subject 2 directly influence this. It can, for. B. when approaching a vehicle caused by the simulation of the collision avoiding algorithm evasive movement of the virtual test vehicle 7 directly from the perspective of the subject 2 be assessed. The subject 2 Thus, the simulated objects can be tracked from their chosen viewer's perspective and influenced by their own actions.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10256612 B3 [0008]
DE 102006044086 B4 [0009]
DE 102014015871 A1 [0010]

Claims

Method for testing an environment-based assistance system, wherein at least one virtual test vehicle (7) embedded in an environment simulation (15) is simulated, wherein the simulated movement of the virtual test vehicle (7) is described by a planned, predefined movement trajectory to which an algorithm that maps the function of the assistance system to be tested, influence, wherein the algorithm data from the environment simulation (15) are provided, which determine the output behavior of the algorithm and thus its influence on the planned, predefined movement trajectory of the virtual test vehicle (7) and generate a resultant movement trajectory of the virtual test vehicle (7) resulting from this superimposition, wherein the virtual test vehicle (7) and environment simulation objects (15) are visualized in a test area (1) of a subject (2), at least the position of the subject (2) within the Te stgeländes (1) with a sensor (6) is detected and from at least the position data of the subject (2) a virtual object (9) of the test person (2) is formed, wherein the position data of the virtual object (9) in the correct position relative to the representation of the virtual test vehicle (7) are synchronized, so that the perception generated by the visualization (10) from the perspective of the test person (2) is in the correct position synchronized with the position of the virtual object (9) of the test person (2) in the simulation, so that position changes cause the test person (2) in the test area (1) a corresponding change in the position of the virtual object (9) of the subject (2) in the simulation environment (8), wherein the position and / or the change of the position of the virtual object (9) Input variable of the algorithm to be tested mapping algorithm and thus by the position or the change of the position of the virtual object generated in the simulation environment (8) (9) the test person (2) the simulated output behavior of the algorithm to be tested mapping algorithm is influenced, at the same time for the test person (2) a correct position for simulation visualization (10) of the environment simulation (15) and at least the virtual test vehicle (7) takes place so that the movement trajectory of the virtual test vehicle (7) resulting from the superimposition of the influences of the assistance system and from the planned predefined movement trajectory can be perceived in the correct position for simulation by the test person (2) in the surroundings simulation (15).

Method according to Claim 1 , characterized in that the planned predefined movement trajectory of the virtual test vehicle (7) corresponds to a defined test scenario (17) for the evaluation of environment-based assistance systems.

Method according to one of the preceding claims, characterized in that the position detection of the test person (2) in the test area (1) by an external sensor (6) and an assignment to a defined coordinate system of the test area (1) or relative to defined fixed points in the test area (1), wherein the position of the test person (2) on a corresponding position of the virtual object (9) of the test person (2) in a corresponding synchronized space allocation for environment simulation (15), so that the position of the virtual object (9) the test person (2) is inserted in the correct position for the perception of the test person (2) in the environment simulation (15).

Method according to one of the preceding claims, characterized in that a stationary imaging or distance-measuring sensor determines at least the position of the test person (2) and in a further processing of the position data of the virtual object (9) are generated, wherein the virtual object (9) of the Test person (2) by the position in the test area (1) is characterized and may additionally have other parameters that indicate its size and / or speed and / or direction of movement.

Method according to Claim 4 , characterized in that in addition to the position of the subject (2) further real objects in the test area (1) are detected and inserted as virtual objects (9) in the simulation.

Method according to Claim 5 , characterized in that as further real objects road markings and / or obstacles and / or other elements of the traffic infrastructure and / or other persons and / or other vehicles are detected and inserted as virtual objects (9) in the simulation.

Device for testing an environment-based assistance system, characterized in that a sensor system (6) for detecting the position of at least one test person (2) is arranged in a test area (1), wherein furthermore a device for visualizing (10) a virtually generated environment simulation (15 ), wherein the environment simulation (15) can be represented from the perspective of the test person (2) and can be adapted to a changing position of the test person (2) in the environment simulation (15) and for this the simulation environment (8) for the surrounding simulation ( 15), the position data of the subject (2) detected by the sensor (6) are supplied as input variables and by an object generator (12) a virtual object (9) of the subject (2) can be generated, which is the environment simulation (15) is added and wherein the device for visualization (10) of the environment simulation (15) further objects in the correct position assignment to the position the test person (2) are displayed and provided for carrying out the test method computer provided with a processing unit and a machine-readable storage medium, wherein on the storage medium, a computer program is stored, the computer program by means of the processing unit, a method according to Claims 1 - 6 performs.

Device after Claim 7 , characterized in that the device for visualizing (10) the environment simulation (15) is a VR glasses or a projection into the test area (1).

Computer program that performs all the steps of a procedure according to one of Claims 1 to 6 when it runs on a computer.

Computer program product with a program code stored on a machine-readable storage medium for carrying out the method according to one of Claims 1 to 6 if the program is running on a computer.