EP4430375A1 - Testumfeld für urbane mensch-maschine interaktion - Google Patents

Testumfeld für urbane mensch-maschine interaktion

Info

Publication number
EP4430375A1
EP4430375A1 EP22826309.1A EP22826309A EP4430375A1 EP 4430375 A1 EP4430375 A1 EP 4430375A1 EP 22826309 A EP22826309 A EP 22826309A EP 4430375 A1 EP4430375 A1 EP 4430375A1
Authority
EP
European Patent Office
Prior art keywords
virtual
movement data
living
test
driver assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22826309.1A
Other languages
English (en)
French (fr)
Inventor
Christian Schyr
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVL List GmbH
Original Assignee
AVL List GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVL List GmbH filed Critical AVL List GmbH
Publication of EP4430375A1 publication Critical patent/EP4430375A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3668—Testing of software
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/06—Steering behaviour; Rolling behaviour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Prevention of errors by analysis, debugging or testing of software
    • G06F11/3698—Environments for analysis, debugging or testing of software
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/048—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles a model being viewed and manoeuvred from a remote point
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated

Definitions

  • the invention relates to a method for operating a test bench for vehicles using simulation means and a motion detection system, a method for operating a test bench, a system for operating a test bench, a computer program and a computer program product.
  • Autonomous or semi-autonomous vehicles are equipped with a large number of sensors and algorithms that convert the sensor signals into an image of the environment.
  • ABS anti-lock braking system
  • ESP electronic stability program
  • Driver assistance systems that are already being used to increase active road safety are a parking assistant, an adaptive distance control system, also known as Adaptive Cruise Control (ACC), which adaptively adjusts a desired speed selected by the driver to a distance from a vehicle in front.
  • ACC stop & go systems which in addition to the ACC causes the vehicle to continue driving automatically in traffic jams or when vehicles are stationary
  • lane keeping or lane assist systems which automatically keep the vehicle in its lane and pre-crash systems which, in the event of a collision, prepare or initiate braking in order to take the kinetic energy out of the vehicle and, if necessary, initiate further measures if a collision is unavoidable.
  • driver assistance systems increase safety on the road by warning the driver in critical situations until they initiate an independent intervention to avoid or reduce accidents, for example by activating an emergency braking function.
  • driving comfort is increased by functions such as automatic parking, automatic lane keeping and automatic distance control.
  • the safety and comfort gain of a driver assistance system is only perceived positively by the vehicle occupants if the support by the driver assistance system is safe, reliable and—as far as possible—comfortable.
  • each driver assistance system depending on its function, must manage scenarios that occur in traffic with maximum safety for the vehicle itself and without endangering other vehicles or other road users.
  • the respective degree of automation of vehicles is divided into so-called automation levels 1 to 5 (see, for example, the SAE J3016 standard).
  • the present invention relates in particular to vehicles with driver assistance systems of automation level 3 to 5, which is generally regarded as highly automated (3 and 4) or autonomous (5) driving.
  • ADAS/AD functions ADAS - Advanced Driver Assistance System
  • AD - Autonomous Driving ADAS - Advanced Driver Assistance System
  • Dummies are usually images of average people in terms of anatomical size and proportions, mostly males. Dummies are not only expensive, but also in their Handling is difficult and can therefore only provide one-off and not particularly realistic results on the behavior of the driver assistance systems.
  • the document GB 2563400 discloses a method for testing vehicles and their algorithms in situations with pedestrians.
  • a first aspect of the invention relates to a method for operating a test stand for vehicles using simulation means and a movement detection system, the method having the following work steps:
  • a virtual test environment with at least one virtual living being and at least one virtual vehicle by means of the simulation means, one of the virtual living beings being a virtual representation of a real living being and one of the virtual vehicles being a virtual representation of a vehicle with the driver assistance system, with at least parts additionally of the vehicle are operated as a real test specimen on the test bench, with the driver assistance system being operated, in particular stimulated, on the basis of the virtual test environment.
  • the real vehicle can be operated at least partially as a test object on a test stand.
  • the method has: Stimulating a real living being in the motion detection system on the basis of the generated virtual environment by means of a stimulus and capturing motion data by means of the motion detection system (English: “Motion Capture System”), wherein the Movement data describe a time course of the pose of at least part of an anatomical structure of the real living being.
  • the method also has: Recording the recorded movement data.
  • the method can include the operation of a test bench with a virtual test environment.
  • a second aspect of the invention relates to a method for operating a test bench using simulation means, in particular according to a first aspect of the invention, the method having:
  • One vehicle also ego object or ego vehicle, which is a virtual representation of the vehicle with the driver assistance system, is operated at least partially as a test item on a test bench. In other words, at least parts of the vehicle are operated as a real test object on a test bench.
  • the driver assistance system is operated, in particular stimulated, on the basis of the virtual test environment.
  • the method includes capturing motion data, in particular by means of a motion capture system.
  • the movement data describe or represent a chronological progression of the pose of the at least one part of an anatomical structure of a real living being.
  • the method also includes the recording of a scenario, which, in particular through a reaction of the driver assistance system to the recorded movement data arises, with the recorded movement data and a reaction of the driver assistance system to the virtual living being being taken into account when generating the virtual test environment.
  • the method preferably also includes the generation of test scenarios for testing a driver assistance system for vehicles.
  • a third aspect of the invention relates to a system for operating a test stand for vehicles, which is set up and/or comprises in particular for carrying out a method, in particular a method according to the above aspects.
  • the system preferably has simulation means that are set up to generate a virtual test environment with at least one virtual living being and at least one virtual vehicle, one of the virtual living beings being a representation of a real living being and one of the virtual vehicles being a virtual representation of a vehicle with the driver assistance system, with at least parts of the vehicle also being operated as a real test specimen on the test bench and for operating, in particular stimulating, the driver assistance system on the basis of the virtual test environment.
  • the system preferably has a motion detection system for capturing motion data, the motion data describing a chronological progression of the pose of the at least one part of an anatomical structure of the real living being.
  • the system preferably also has stimulation means, the stimulation means being set up for stimulating the real living being in the movement detection system on the basis of the generated virtual environment by means of a stimulus. Furthermore, the system preferably has storage means for recording the recorded movement data.
  • a fourth aspect of the invention relates to a system for operating a test bench, in particular according to a system of the third aspect, having: Simulation means set up to generate a virtual test environment with at least one virtual living being and at least one virtual vehicle.
  • One of the virtual creatures is a virtual representation of a real creature.
  • One of the virtual vehicles is also a virtual representation of a vehicle with the driver assistance system.
  • the system is also set up to operate the vehicle at least partially as a real test object on the test bench and to operate, in particular to stimulate, the driver assistance system on the basis of the virtual test environment.
  • the system also has a means, in particular a motion detection system or an interface, which is set up to capture motion data, the motion data describing a chronological progression of the pose of the at least one part of an anatomical structure of the real living being.
  • the system has storage means for recording a scenario that results from a reaction of the driver assistance system to the recorded movement data, the recorded movement data and a reaction of the driver assistance system to the virtual living being being taken into account when generating the virtual test environment.
  • a system and/or a means within the meaning of the present invention can be designed in terms of hardware and/or software, in particular at least one, in particular digital, processing unit, in particular microprocessor unit ( CPU), graphics card (GPU) or the like, and / or have one or more programs or program modules.
  • the processing unit can be designed to process commands that are implemented as a program stored in a memory system, to acquire input signals from a data bus and/or to output output signals to a data bus.
  • a storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and/or other non-volatile media.
  • the program may be arranged to embody or perform the methods described herein is able so that the processing unit can carry out the steps of such a method and thus in particular can operate or monitor a device.
  • a fifth aspect of the invention relates to a computer program or computer program product, the computer program or computer program product containing instructions, in particular stored on a computer-readable and/or non-volatile storage medium, which when executed by one or more computers or in particular a system for operating a test stand for vehicles cause the computer or the system to carry out a method for operating a test stand for vehicles using simulation means and a movement detection system, in particular according to embodiments as described above.
  • a computer program product can have, in particular, be a, in particular, computer-readable and/or non-volatile storage medium for storing a program or instructions or with a program or with instructions stored thereon.
  • execution of this program or these instructions by a system or controller causes the system or controller, in particular the computer or computers, to perform a method described here or one or more of its steps, or the program or the instructions are set up to do so
  • a scenario within the meaning of the invention is preferably formed from a chronological sequence of, in particular static, scenes.
  • the scenes indicate, for example, the spatial arrangement of the at least one object, in particular the at least one virtual living being, relative to the ego object, in particular the constellation of road users and/or in particular the constellation of immovable virtual objects, virtual living beings, in particular virtual road users, at.
  • a scenario can contain, in particular, a driving situation in which a driver assistance system, called the ego vehicle, interacts with the driver assistance system equipped vehicle controls at least partially, z.
  • B. performs at least one vehicle function of the ego vehicle autonomously.
  • Movement data of at least one part of an anatomical structure of a real living being within the meaning of the invention is preferably understood to mean that at least the smallest part of a part of the body of the real living being that can be moved by a joint and/or a muscle is represented by the movement data and this movement data describe the course of this smallest part over time.
  • a driving situation within the meaning of the invention preferably describes the circumstances that are to be taken into account for the selection of suitable behavior patterns of the driver assistance system at a specific point in time.
  • a driving situation is therefore preferably subjective in that it represents the view of the ego vehicle. It also preferably includes relevant conditions, possibilities and factors influencing actions.
  • a driving situation is more preferably derived from the scene by an information selection process based on transients, e.g. B. mission-specific as well as permanent goals and values.
  • a driving behavior within the meaning of the invention is preferably a behavior of the driver assistance system through action and reaction in the surroundings of the vehicle.
  • a quality within the meaning of the invention preferably characterizes the simulated scenario.
  • a quality is preferably understood to mean a quality or condition of the simulated scenario in relation to its suitability for testing the driver assistance system. In this case, a more critical scenario preferably has a higher quality.
  • the dangerousness of a driving situation, which emerges from the respective scenario for the tested driver assistance system, is preferably a measure of the quality of the scenario.
  • a pose within the meaning of the invention is the spatial location, in particular the combination of position and orientation of an object, in particular a part of an anatomical structure of a living being.
  • the pose can relate to a separately moveable anatomical part of the living being, which can be detected in particular in the overall context of the pose of the living being with a movement detection system.
  • a detection can take place in particular via stereo cameras, infrared tracking, image recognition or with comparable systems, in particular motion detection systems and methods for motion detection in a three-dimensional volume in particular.
  • a movement detection system can detect a movement in particular with markers, in particular with active or in particular with passive markers, or without markers, in particular via pattern recognition, silhouette tracking and/or the like.
  • the movement detection system can in particular be connected to a test stand in data communication, in particular wirelessly or by wire.
  • the motion detection system can be locally separate from the test stand.
  • the invention is based on the idea of creating a realistic virtual representation of real living beings in test bench operation of a vehicle with a driver assistance system.
  • a database with the recorded movement data can be created.
  • This recorded movement data can be accessed and a test scenario, in particular scenarios, can be created.
  • the recorded movement data can be combined and/or supplemented with other movement data.
  • the recorded movement data can in particular form a movement atlas that serves as the basis for movement simulations of virtual living beings or avatars.
  • the invention allows a test environment to be created that makes it possible to test or optimize a driver assistance system for interactions with living beings.
  • situations can be presented that occur when real vehicles and real living beings interact, in particular at least for the living beings, would be dangerous.
  • it is possible to generate potentially life-threatening situations for living beings, in particular to iterate with minor changes to the movement data, which are preferably computer-generated or calculated, so that a driver assistance system can be optimized and/or trained.
  • a quality of the virtual test environment in particular of the scenario, in particular with regard to living beings, can be improved.
  • the motion data recorded can be linked to the stimulus for the real living being in the motion detection system, and the stimulus associated with the motion data recorded can also be stored.
  • the recorded movement data and a reaction of the driver assistance system to the recorded movement data can be taken into account when generating the virtual test environment.
  • the recorded scenario can be linked to the recorded movement data and the movement data associated with the scenario that has arisen can also be stored.
  • recorded movement data can be repeatedly taken into account when generating the virtual test environment.
  • movement data is recorded only once and/or in particular for a chronological sequence of a pose that is outside of an area in which the movement detection system can detect movements to be repeated with the movement data, in particular in the virtual Test environment, which in particular can be larger than the detectable volume of the motion detection system.
  • this makes it possible for the movement detection system to be designed smaller than the virtual test environment and still movement data of real living beings can be represented by the virtual simulation (representation) of the real living being in the virtual test environment.
  • the movement atlas By linking the recorded movement data with at least one, in particular visual, haptic and/or acoustic stimulus, it is possible for the movement atlas to be able to store reactions and/or interactions of a real living being, in particular with the ego object, depending on the situation.
  • These can in particular include a direct interaction of the living being with the ego object, preferably touching, pushing or the like, and can in particular use appropriate interfaces such as haptic gloves (English: “haptic (feedback) glove”) to guide the real living being in the movement Stimulate acquisition system.
  • the recorded movement data can also include: a distance between the ego object and the virtual living being in the virtual test environment, the positions of the objects in the virtual test environment and/or their temporal derivatives, such as in particular a speed or acceleration, data on parts of the ego object or to the totality of the parts comprised by the ego-object.
  • the repetition of recorded movement data in the virtual test environment can relate in particular to movement data that represent the course of the pose of at least part of an anatomical structure of the real living being.
  • the repetition of the recorded movement data can in particular make it possible for a modified stimulus to be generated for the driver assistance system by repeating the time profile of the pose at a different location or at the same location in the virtual test environment.
  • the driver assistance system can thereby optimize a reaction to stimuli that are repeated and/or occur at another point in the virtual test environment, in particular of the same type.
  • poses or temporal progressions of poses, in particular unusual poses, which are usually perceived as unusual can be repeated, preferably as a stimulus or stimuli for the driver assistance system.
  • Repeating the recorded movement data in the virtual test field can enable the driver assistance system to be trained (better) than non-repeatable movement data, in particular using a machine learning method.
  • the range of possible scenarios is generally spanned by many dimensions, e.g. B. different road properties, behavior of other road users, weather conditions, etc.. Another dimension can be opened up by means of movement data. From this almost infinite and multidimensional parameter space, it is particularly relevant for testing the driver assistance systems to extract such parameter constellations for particularly critical scenarios, which can lead to unusual or dangerous driving situations. This can be limited in particular by linking the movement data with at least one stimulus.
  • test object can be operated as hardware-in-the-loop, in particular as vehicle-in-the-loop.
  • the detection can be linked to at least one, in particular a visual, haptic and/or acoustic stimulus for the living being in the movement detection system from the virtual test environment.
  • a movement detection system can in particular be designed in such a way that one or more, in particular one stimulus or several different stimuli can be presented to the real living being in the movement detection system or played in at the same time. These can be directed, especially when it comes to acoustic stimuli, such as an acoustic stimulus from one or more directions, which is or can be locatable for the real living being, or essentially non-locatable acoustic stimuli, such as low-frequency stimuli in particular.
  • This can make it possible for transaction data to be clustered, in particular with their links.
  • a scenario with, in particular, clustered, movement data can advantageously be modified in order in particular to generate variations of the test scenarios, in particular of the virtual test environment.
  • the repeated consideration of the recorded movement data in particular the repetition of the recorded movement data, can include changing the at least one part of the anatomical structure.
  • the repetition of the movement data can include a change in the course over time of the pose of the at least one part of the anatomical structure.
  • the virtual living being can be adapted in particular to different manifestations of the at least one part of the anatomical structure that can occur biologically in real living beings that are comparable to the real living being.
  • changing the course of the pose over time can make it possible for part of a movement to be emphasized, in particular accelerated or slowed down.
  • the driver assistance system can advantageously be trained and/or optimized in particular for different manifestations of a movement, in particular a chronological progression of a pose.
  • the at least one part of the anatomical structure can be changed based on the empirical quantile of the part of the anatomical structure.
  • a scenario can be adapted, in particular to the characteristics of the at least one part of the anatomical structure, according to an empirical quantile of real living beings, in particular according to a corresponding percentile of the at least one part of the anatomical structure.
  • a time profile of the virtual test environment can be faster or slower than the time profile of the movement data or faster or slower than real time when repeatedly taking into account, in particular when repeating, the movement data. This can make it possible, in particular, if the time course is slower than real time, for example computationally expensive simulations can be carried out, in particular finite element simulations for structural optimization, numerical fluid dynamics simulations for shape optimization or thermodynamic simulations for system optimization.
  • the repeated consideration in particular the repetition, can also include: repeated consideration, in particular the repetition, of second recorded movement data, which differ from the first recorded movement data, when generating the virtual test environment.
  • a gesture can be repeated with another gesture in different configurations. This can make it possible that in particular the driver assistance system does not respond to a specific is trained or optimized over time, but that the driver assistance system is in particular also confronted with different time curves of poses and in particular can be optimized accordingly.
  • the method can also have, in particular the following work steps: Determination of transition data from the first recorded movement data to the second recorded movement data, the transition data being a temporal and/or spatial transition from the first recorded movement data to the second recorded movement data describe.
  • the procedure can also include:
  • this way it can be made possible in particular for movement data that represent non-coherent temporal profiles of a pose to be reproduced and/or displayed in combination in the virtual test environment.
  • this can make it possible for movement data that was not coherently recorded and/or recorded in the movement recording system to be able to be combined.
  • this makes it possible for the movement data from different real living beings to be combined with one another, in particular from a combination of two or more movement data into one, in particular for an observer and/or the virtual representation of a vehicle, in particular for the ego object, which is at least partially operated as a test specimen on a test bench, in the virtual test environment, overall movement of a virtual living being in the virtual test environment.
  • the method includes the fact that the first recorded movement data and the second recorded movement data can be combined in a randomized manner.
  • the driver assistance system can react to, in particular unusual, movements that are detected in particular from the first Movement data and second recorded movement data are combined in a randomized manner, can be optimized and/or trained.
  • the first recorded movement data and the second recorded movement data can be combined based on combinations of the first recorded movement data and the second recorded movement data, in particular the combination of the first recorded movement data and the second recorded movement data can be based on machine learning.
  • machine learning can enable first movement data and second movement data to be combined in a manner that corresponds to a natural movement of the real living being.
  • movement data can be combined in particular which have been recorded at different locations with movement detection systems and which are assigned in particular to different real living beings, but in particular belonging to the same species.
  • the method can include that recorded movement data from different real living beings can be adjusted in such a way that the recorded movement data can be displayed in the virtual test environment as movement data of the virtual living being and in particular are adjusted in such a way that the movement data correspond to the anatomical conditions of the virtual living being. This can be done in particular using a machine learning method.
  • the method can also include a test engineer being able to trigger a repetition of recorded movement data.
  • a test engineer being able to trigger a repetition of recorded movement data. This can make it possible for a test engineer to intervene in the virtual test environment and/or to individually change, adapt and/or manipulate a scenario. This can in particular be temporal and/or spatial.
  • a test engineer within the meaning of the invention is preferably an engineer who uses a system of virtual reality (English: “virtual reality”), augmented reality (English: “augmented reality”) or mixed reality (English: “mixed reality” ) can move and/or intervene in the virtual test environment.
  • the test engineer can in particular placing, removing and/or manipulating objects in the scenario, in particular both temporally and spatially.
  • the recording of the scenario can include parameters of the scenario, selected from the following group depending on the type of driver assistance system to be tested: speed, in particular an initial speed, of the vehicle; trajectory of the vehicle; lighting conditions; Weather; road surface; Number and position of static and/or dynamic objects, in particular virtual living beings, further in particular in relation to the vehicle; Speed and direction of movement of the dynamic objects, in particular movement data of the virtual living beings; condition of signaling systems, in particular traffic light systems; traffic signs; vertical elevation, width and/or trafficability of lanes, lane course, number of lanes; critical infrastructure such as building parts that obstruct the view.
  • parameters of the scenario selected from the following group depending on the type of driver assistance system to be tested: speed, in particular an initial speed, of the vehicle; trajectory of the vehicle; lighting conditions; Weather; road surface; Number and position of static and/or dynamic objects, in particular virtual living beings, further in particular in relation to the vehicle; Speed and direction of movement of the dynamic objects, in particular movement data of the virtual living beings; condition of signaling systems
  • Figure 1a a block diagram of a first embodiment of a
  • Figure 1b a block diagram of a second embodiment of a
  • FIG. 3 an example of scenarios in the virtual test environment
  • Figure 4 an embodiment of a system for operating a
  • FIGS. 5a to 5e exemplary embodiments of various components of a system for operating a test bench and the test bench.
  • FIG. 1 shows a block diagram of an exemplary embodiment of a method 100 for operating a test bench 1 for a vehicle.
  • Work step 101 relates to the creation of a virtual test environment, work step 102 to the stimulation of a real living being, work step 103 to the acquisition of movement data and work step 104 to the recording of the acquired movement data.
  • method 100 can be repeated, as shown, so that in particular new and/or modified test scenarios for testing a driver assistance system can be generated.
  • the method 100 includes in particular the stimulation 102 of a real living being on the basis of the generated virtual environment, the acquisition 103 of movement data with a movement acquisition system, and recording, in particular storing, 104 the acquired movement data, wherein the acquired movement data with at least one Stimulus for the real creature 2 in the motion detection system 12 are linked from the virtual test environment.
  • the work step of determining 105 transition data, the work step of reproducing 106 transition data and the work step of repeatedly considering 107 movement data, in particular with transition data, are shown in dashed lines in FIG.
  • the method can be repeated partially or at least substantially in its entirety. In particular, in this way different scenarios for testing and/or optimizing a driver assistance system can be generated and a test stand can be operated accordingly.
  • the work steps shown with dashed lines are optional.
  • FIG. 2 shows a block diagram of a further method 200 for operating a test bench.
  • step 201 a virtual test environment is generated.
  • work step 202 movement data is recorded, in particular using a movement detection system, and in work step 203 a scenario is recorded.
  • Steps 204, 205, 206 correspond to the steps 105, 106, 107 of the method 100 and are optional and therefore shown in dashed lines, with transition data being determined in the work steps, transition data being reproduced and movement data being repeatedly taken into account.
  • the method 200 according to FIG. 2 differs from the method 100 according to FIG. 1 essentially in that scenario data are recorded which characterize a scenario.
  • Movement data is recorded by means of an interface 22, in particular a user interface such as a movement detection system, and is in turn taken into account together with the reactions of the driver assistance system when generating the virtual test environment.
  • the method 200 can preferably also be operated on the basis of the method 100, with the movement data recorded in the method 100 being transferred.
  • FIG. 3 shows an exemplary virtual test environment that can be generated by methods 100, 200 for operating a test bench.
  • a virtual vehicle 3' controlled by a driver assistance system drives in the right lane.
  • other vehicles 5b, 5c, 5d are parked next to the lane, through which the virtual pedestrian 2' cannot be detected, or only with difficulty, by the sensors of the driver assistance system.
  • FIG 4 shows an exemplary embodiment of a system 10 for operating a test bench 1 with a virtual test environment.
  • This system 10 preferably has simulation means 11 for generating a virtual test environment with at least one virtual living being 2' and at least one virtual vehicle 3'.
  • the system 10 can also have a first user interface 13 and preferably a second user interface 12.
  • the at least one first user interface 13 can be used to output a virtual environment of the virtual pedestrian 2' to a first user 2.
  • the user interface 13 can be a stimulation device such as an optical user interface, in particular a head-mounted device or a screen, and/or audio interfaces such as loudspeakers and possibly devices with which the sense of balance of the respective user can be influenced.
  • the second user interface 12 is preferably set up to record inputs from the respective user 2 .
  • This is preferably a Movement detection system 12, which can detect the poses and movements of the user 2 via various sensors and, for example, a treadmill.
  • system 10 preferably has storage means 14 for recording the recorded movement data.
  • system 10 preferably has a data memory 15 for providing scenario data which characterize a scenario in which the virtual pedestrian 2' is located.
  • the simulation means 11 are preferably set up to simulate a virtual test environment of a virtual vehicle 3' on the basis of the scenario data. Furthermore, the simulation means 11 are preferably also set up to render this environment.
  • an interface 6 of the test bench 1 is set up to output the virtual test environment to a driver assistance system of the vehicle 3 . If the driver assistance system has an optical camera K, such an interface 6 can be a screen, as shown in FIG. 4 .
  • the means 11 for simulating calculate a response signal S′, which in turn is output to the camera K of the driver assistance system.
  • the response signal S' can also be output to a radar of a driver assistance system via a radar stimulator.
  • Other environments can be simulated for a lidar, an ultrasound or an infrared camera.
  • the simulated virtual test environment can be output to sensor K of the driver assistance system by emulating signals.
  • a signal can also be generated which is or is fed directly into the data processing unit of the driver assistance system Signal which is only processed by the software of the driver assistance system.
  • the storage means 14 and the means for simulating 11 are preferably part of a data processing device.
  • FIGS. 5a to 5e show exemplary embodiments of a system 10 with a movement detection system 12, the system 10 being shown in particular during the work step of detecting 103, 202 movement data, in which movements of the pedestrian 2 are detected via sensors.
  • a pedestrian is equipped as a real living being 2 in such a way that his movements, in particular the movements of parts of his anatomy, can be recorded.
  • the person depicted is on a treadmill, which can be used in particular to simulate motion sequences when moving. Furthermore, in particular the time course of a pose (of the at least one part of an anatomical structure) can be detected and/or recorded.
  • This chronological progression of a pose can be detected and/or recorded as movement data.
  • this movement data can then be transmitted to a virtual living being 2′, in particular an avatar.
  • the virtual living being 2' then performs the same or at least essentially the same movements as the real living being 2.
  • the movement data recorded by the real living being 2 can be transferred to a virtual living being 2', in particular an avatar, so that the avatar performs the same movements as the real living being 2.
  • the virtual living being 2' is embedded in the test environment in such a way that the virtual living being 2', in particular the avatar, represents at least essentially the same chronological sequence of poses in the virtual test environment.
  • Fig. 5c an exemplary virtual test environment is shown, which has a zebra crossing, two lanes, with a bus and another vehicle arranged behind it being arranged on the opposite lane, as well as a virtual pedestrian2' at the beginning of the zebra crossing, which crosses the lane of the ego -vehicle leads.
  • objects already known or recognized by the driver assistance system are framed in the virtual test environment shown.
  • the view of the virtual pedestrian 2 'cor relates with the view of the real person 2 in the motion detection system 12, the person 2 this view in particular with glasses of augmented reality (English: “augmented reality”), a pair of glasses for virtual reality (English: “virtual reality”) or glasses for mixed reality (English: “mixed reality”) can be displayed (in Fig. 5c not shown).
  • glasses of augmented reality English: “augmented reality”
  • a pair of glasses for virtual reality English: “virtual reality”
  • glasses for mixed reality English: “mixed reality”
  • the real living being 2 can then react to the situation or the scenario in the virtual test environment and this reaction is in turn represented in the virtual test environment by the recorded movement data of the real living being 2 with the virtual living being 2'.
  • FIG. 5d shows a projection of the virtual test environment for sensors, in particular camera sensors, of test object 3 on a test stand 1 using a screen 6 .
  • the virtual creature 2' can be seen on the road.
  • the test environment can be presented to a test specimen 3 so that a driver assistance system associated with the test specimen 3 can detect the virtual living being 2' using its sensors.
  • 5e shows a part of a real vehicle as a test object 3 on a test stand 1, as well as a projection 6 of the virtual test environment arranged in front of the vehicle 3 from the perspective of the virtual vehicle 3'.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Prüfstands für Fahrzeuge mittels Simulationsmitteln und einem Bewegungs-Erfassungs-System, folgende Arbeitsschritte aufweisend: Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen und wenigstens einem virtuellen Fahrzeug mittels der Simulationsmittel, wobei eines der virtuellen Lebewesen eine virtuelle Repräsentation eines realen Lebewesens ist und wobei eines der virtuellen Fahrzeuge eine virtuelle Repräsentation eines Fahrzeugs mit einem Fahrerassistenzsystem ist, wobei zusätzlich wenigstens Teile des Fahrzeugs als realer Prüfling auf dem Prüfstand betrieben werden, wobei das Fahrerassistenzsystem auf der Grundlage des virtuellen Testumfelds betrieben, insbesondere stimuliert, wird; Stimulieren des realen Lebewesens in dem Bewegungs-Erfassungs-System auf der Grundlage des erzeugten virtuellen Umfelds mittels eines Stimulus; Erfassen von Bewegungsdaten mittels des Bewegungs-Erfassungs-Systems, wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens beschreiben; und Aufzeichnen der erfassten Bewegungsdaten.

Description

Testumfeld für urbane Mensch-Maschine Interaktion
Die Erfindung betrifft ein Verfahren zum Betreiben eines Prüfstands für Fahrzeuge mittels Simulationsmittel und einem Bewegungs-Erfassungs-System, ein Verfahren zum Betreiben eines Prüfstands, ein System zum Betreiben eines Prüfstands, ein Computerprogramm und ein Computerprogrammprodukt.
Autonome bzw. teilautonome Fahrzeuge sind mit einer Vielzahl an Sensoren ausgestattet und Algorithmik, die die Signale der Sensoren in eine Abbildung der Umgebung umwandeln.
Neben den insbesondere der Fahrsicherheit dienenden Systemen wie ABS (Anti- Blockier-System) und ESP (Elektronisches Stabilitätsprogramm) werden im Bereich der Personenkraftwagen und der Nutzfahrzeuge einer Vielzahl von Fahrerassistenzsystemen angeboten.
Fahrerassistenzsysteme, welche bereits zur Erhöhung der aktiven Verkehrssicherheit eingesetzt werden, sind ein Parkassistent, ein adaptiver Abstandsregeltempomat, der auch als Adaptive Cruise Control (ACC) bekannt ist, welcher eine vom Fahrer gewählte Wunschgeschwindigkeit adaptiv auf einen Abstand zu einem vorausfahrenden Fahrzeug einregelt. Ein weiteres Beispiel für solche Fahrerassistenzsysteme sind ACC-Stop-&-Go- Systeme, welche zusätzlich zum ACC die automatische Weiterfahrt des Fahrzeugs im Stau oder bei stehenden Fahrzeugen bewirkt, Spurhalte- oder Lane-Assist-Systeme, die das Fahrzeug automatisch auf der Fahrzeugspur halten, und Pre-Crash-Systeme, die im Fall der Möglichkeit einer Kollision beispielsweise eine Bremsung vorbereiten oder einleiten, um die kinetische Energie aus dem Fahrzeug zu nehmen, sowie gegebenenfalls weitere Maßnahmen einleiten, falls eine Kollision unvermeidlich ist.
Diese Fahrerassistenzsysteme erhöhen sowohl die Sicherheit im Verkehr, indem sie den Fahrer in kritischen Situationen warnen, bis zur Einleitung eines selbstständigen Eingriffs zur Unfallvermeidung oder Unfallverminderung, beispielsweise indem eine Notbremsfunktion aktiviert wird. Zusätzlich wird der Fahrkomfort durch Funktionen wie automatisches Einparken, automatische Spurhaltung und automatische Abstandskontrolle erhöht.
Der Sicherheits- und Komfortgewinn eines Fahrerassistenzsystems wird von den Fahrzeuginsassen nur dann positiv wahrgenommen, wenn die Unterstützung durch das Fahrerassistenzsystem sicher, verlässlich und in - soweit möglich - komfortabler Weise erfolgt.
Darüber hinaus muss jedes Fahrerassistenzsystem, je nach Funktion, im Verkehr auftretende Szenarien mit maximaler Sicherheit für das eigene Fahrzeug und auch ohne Gefährdung anderer Fahrzeuge bzw. anderer Verkehrsteilnehmer bewerkstelligen.
Der jeweilige Automatisierungsgrad von Fahrzeugen wird dabei in sogenannte Automatisierungslevel 1 bis 5 unterteilt (vgl. beispielsweise Norm SAE J3016). Die vorliegende Erfindung betrifft insbesondere Fahrzeuge mit Fahrerassistenzsystemen des Automatisierungslevels 3 bis 5, welches im Allgemeinen als hochautomatisiertes (3 und 4) bzw. autonomes (5) Fahren betrachtet wird.
Die Herausforderungen zum Testen solcher Systeme sind vielfältig. Insbesondere muss ein Ausgleich zwischen dem Testaufwand und der Testabdeckung gefunden werden. Dabei ist die Hauptaufgabe beim Testen von ADAS/AD-Funktionen (ADAS - Advanced Driver Assistance System; AD - Autonomous Driving), zu demonstrieren, dass die Funktion des Fahrerassistenzsystems in allen vorstellbaren Situationen gewährleistet ist, insbesondere auch in kritischen Fahrsituationen. Solche kritischen Fahrsituationen weisen eine gewisse Gefährlichkeit auf, da keine oder eine falsche Reaktion des jeweiligen Fahrerassistenzsystems zu einem Unfall führen kann.
Bisher werden Tests, die das Verhalten von Fahrerassistenzsystemen in Bezug auf Personen testen, mit Dummys durchgeführt. Dummys sind in der Regel Abbilder von durchschnittlichen in Bezug auf anatomische Größenverhältnisse und Proportionen, meist männlichen Menschen. Dummys sind nicht nur teuer, sondern auch in ihrer Handhabung schwierig und können daher nur einmalig und nicht besonders realitätsnah Ergebnisse zum Verhalten der Fahrerassistenzsysteme liefern.
Aus dem Stand der Technik ist es bekannt, reale Testfahrdaten einer realen Flotte von Testfahrzeugen zum Validieren und Verifizieren von Fahrerassistenzsystemen einzusetzen und aus den aufgezeichneten Daten Szenarien zu extrahieren.
Darüber hinaus offenbart das Dokument GB 2563400 ein Verfahren zum Testen von Fahrzeugen und deren Algorithmen in Situationen mit Fußgängern.
Es ist die Aufgabe der Erfindung, ein verbessertes Verfahren zum Betreiben eines Prüfstands, ein verbessertes Verfahren zum Betreiben eines Prüfstands mittels Simulationsmittel, sowie entsprechende Systeme, Computerprogramme und Computerprogrammprodukte bereitzustellen. Insbesondere ist es Aufgabe der Erfindung, eine realitätsnahe Darstellung von Lebewesen und deren Bewegungsmustern zu erreichen.
Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen werden in den Unteransprüchen beansprucht.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Prüfstandes für Fahrzeuge mittels Simulationsmitteln und einem Bewegungs-Erfassungs-System, wobei das Verfahren folgende Arbeitsschritte aufweist:
Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen und wenigstens einem virtuellen Fahrzeug mittels der Simulationsmittel, wobei eines der virtuellen Lebewesen eine virtuelle Repräsentation eines realen Lebewesens ist und wobei eines der virtuellen Fahrzeuge eine virtuelle Repräsentation eines Fahrzeugs mit dem Fahrerassistenzsystem ist, wobei zusätzlich wenigstens Teile des Fahrzeugs als realer Prüfling auf dem Prüfstand betrieben werden, wobei das Fahrerassistenzsystem auf der Grundlage des virtuellen Testumfelds betrieben, insbesondere stimuliert wird. Das reale Fahrzeug kann insbesondere wenigstens teilweise als Prüfling auf einem Prüfstand betrieben werden. Weiterhin weist das Verfahren auf: Stimulieren eines realen Lebewesens in dem Bewegungs-Erfassungs-System auf der Grundlage des erzeugten virtuellen Umfelds mittels eines Stimulus und Erfassen von Bewegungsdaten mittels des Bewegungs- Erfassungs-System (englisch: „Motion Capture System“), wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens beschreiben.
Weiterhin weist das Verfahren auf: Aufzeichnen der erfassten Bewegungsdaten Insbesondere kann das Verfahren das Betreiben eines Prüfstandes mit virtuellem Testumfeld umfassen.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines Prüfstands mittels Simulationsmittel, insbesondere nach einem ersten Aspekt der Erfindung, wobei das Verfahren aufweist:
Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen und wenigstens einem virtuellen Fahrzeug mittels der Simulationsmittel, wobei eines der virtuellen Lebewesen eine virtuelle Repräsentation eines realen Lebewesens ist und eines der virtuellen Fahrzeuge eine virtuelle Repräsentation eines Fahrzeugs mit einem Fahrerassistenzsystem ist. Das eine Fahrzeug, auch Ego-Objekt oder Ego-Fahrzeug, das eine virtuelle Repräsentation des Fahrzeugs mit dem Fahrerassistenzsystem ist, wird wenigstens teilweise als Prüfling auf einem Prüfstand betrieben. Mit anderen Worten werden wenigstens Teile des Fahrzeugs als realer Prüfling auf einem Prüfstand betrieben. Das Fahrerassistenzsystem wird auf der Grundlage des virtuellen Testumfelds betrieben, insbesondere stimuliert.
Ferner weist das Verfahren ein Erfassen von Bewegungsdaten, insbesondere mittels eines Bewegungs-Erfassungs-Systems (englisch: „Motion Capture System“) auf. Die Bewegungsdaten beschreiben oder repräsentieren einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur eines realen Lebewesens.
Das Verfahren weist weiterhin das Aufzeichnen eines Szenarios, welches, insbesondere durch eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten entsteht, auf, wobei die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf das virtuelle Lebewesen beim Erzeugen des virtuellen Testumfelds berücksichtigt werden.
Vorzugsweise umfasst das Verfahren darüber hinaus das Erzeugen von Testszenarien zum Testen eines Fahrerassistenzsystems für Fahrzeuge.
Ein dritter Aspekt der Erfindung betrifft ein System zum Betreiben eines Prüfstandes für Fahrzeuge, das insbesondere zur Durchführung eines Verfahrens, insbesondere einem Verfahren gemäß der obigen Aspekte, eingerichtet ist und/oder umfasst, bereitgestellt.
Das System weist vorzugsweise Simulationsmittel auf, die eingerichtet sind zum Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen und wenigstens einem virtuellen Fahrzeug auf, wobei eines der virtuellen Lebewesen eine Repräsentation eines realen Lebewesens ist und wobei eines der virtuellen Fahrzeuge eine virtuelle Repräsentation eines Fahrzeugs mit dem Fahrerassistenzsystem ist, wobei zusätzlich wenigstens Teile des Fahrzeugs als realer Prüfling auf dem Prüfstand betrieben werden und zum Betreiben, insbesondere Stimulieren, des Fahrerassistenzsystem auf der Grundlage des virtuellen Testumfelds.
Ferner weist das System vorzugsweise ein Bewegungs-Erfassungs-System zum Erfassen von Bewegungsdaten auf, wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens beschreiben.
Das System weist vorzugsweise ferner Stimulationsmittel auf, wobei die Stimulationsmittel zum Stimulieren des realen Lebewesens in dem Bewegungs- Erfassungs-System auf der Grundlage des erzeugten virtuellen Umfelds mittels eines Stimulus eingerichtet sind. Ferner weist das System vorzugsweise Speichermittel zum Aufzeichnen der erfassten Bewegungsdaten auf.
Ein vierter Aspekt der Erfindung betrifft ein System zum Betreiben eines Prüfstands, insbesondere nach einem System des dritten Aspekts, aufweisend: Simulationsmittel, eingerichtet zum Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen und wenigstens einem virtuellen Fahrzeug. Eines der virtuellen Lebewesen ist dabei eine virtuelle Repräsentation eines realen Lebewesens. Eines der virtuellen Fahrzeuge ist dabei ferner eine virtuelle Repräsentation eines Fahrzeugs mit dem Fahrerassistenzsystem.
Das System ist ferner dazu eingerichtet, das Fahrzeug zusätzlich wenigstens teilweise als realen Prüfling auf dem Prüfstand zu betreiben und zum Betreiben, insbesondere Stimulieren, des Fahrerassistenzsystems auf der Grundlage des virtuellen Testumfelds. Ferner weist das System ein Mittel, insbesondere ein Bewegungs-Erfassungs-System oder eine Schnittstelle, auf, das eingerichtet ist zum Erfassen von Bewegungsdaten, wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens beschreiben.
Weiterhin weist das System Speichermittel zum Aufzeichnen eines Szenarios, welches durch eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten entsteht auf, wobei die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf das virtuelle Lebewesen beim Erzeugen des virtuellen Testumfelds berücksichtigt werden.
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere eine Einrichtung betreiben bzw. überwachen kann.
Ein fünfter Aspekt der Erfindung betrifft ein Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nichtflüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder insbesondere ein System zum Betreiben eines Prüfstandes für Fahrzeuge den oder die Computer oder das System dazu veranlassen, ein Verfahren zum Betreiben eines Prüfstands für Fahrzeuge mittels Simulationsmittel und einem Bewegungs-Erfassungs-System, insbesondere nach Ausführungsformen wie oben beschrieben, durchzuführen.
Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet
Ein Szenario im Sinne der Erfindung wird vorzugsweise aus einer zeitlichen Abfolge von, insbesondere statischen, Szenen gebildet. Die Szenen geben dabei beispielsweise die räumliche Anordnung von dem wenigstens einen Objekt, insbesondere dem wenigstens einen virtuellen Lebewesen, relativ zum Ego-Objekt, insbesondere die Konstellation von Verkehrsteilnehmern und/oder insbesondere die Konstellation von unbeweglichen virtuellen Objekten, virtuellen Lebewesen, insbesondere virtuellen Verkehrsteilnehmern, an. Ein Szenario kann insbesondere eine Fahrsituation enthalten, in der ein Fahrerassistenzsystem das Ego-Fahrzeug genannte, mit dem Fahrerassistenzsystem ausgestattete Fahrzeug zumindest teilweise steuert, z. B. wenigstens eine Fahrzeugfunktion des Ego-Fahrzeugs autonom ausführt.
Unter Bewegungsdaten des mindestens einen Teils einer anatomischen Struktur eines realen Lebewesens im Sinne der Erfindung wird vorzugsweise verstanden, dass der wenigstens kleinste Teil eines durch ein Gelenk und/oder einen Muskel bewegbare Teil des Körpers des realen Lebewesens von den Bewegungsdaten repräsentiert wird und diese Bewegungsdaten einen zeitlichen Verlauf dieses kleinsten Teils beschreiben. Insbesondere kann dadurch ermöglicht werden, dass wenigstens im Wesentlichen alle möglichen Bewegungen eines realen Lebewesens aufgezeichnet und von Bewegungsdaten repräsentiert und im virtuellen Testumfeld durch die virtuelle Repräsentanz des realen Lebewesens darstellbar sind.
Eine Fahrsituation im Sinne der Erfindung beschreibt vorzugsweise die Umstände, die für die Auswahl geeigneter Verhaltensmuster des Fahrerassistenzsystems zu einem bestimmten Zeitpunkt zu berücksichtigen sind. Eine Fahrsituation ist daher vorzugsweise subjektiv, indem sie die Sicht des Ego-Fahrzeugs repräsentiert. Sie umfasst weiter vorzugsweise relevante Bedingungen, Möglichkeiten und Beeinflussungsfaktoren von Handlungen. Eine Fahrsituation ist weiter vorzugsweise aus der Szene durch einen Prozess der Informationsauswahl abgeleitet, basierend auf Transienten, z. B. missionsspezifischen, wie auch permanenten Zielen und Werten.
Ein Fahrverhalten im Sinne der Erfindung ist vorzugsweise ein Verhalten des Fahrerassistenzsystems durch Aktion und Reaktion in einem Umfeld des Fahrzeugs.
Eine Güte im Sinne der Erfindung charakterisiert vorzugsweise das simulierte Szenario. Unter einer Güte wird vorzugsweise eine Qualität oder Beschaffenheit des simulierten Szenarios in Bezug auf dessen Geeignetheit zum Testen des Fahrerassistenzsystems verstanden. Ein kritischeres Szenario hat hierbei vorzugsweise eine höhere Güte. Vorzugsweise ist die Gefährlichkeit einer Fahrsituation, welche aus dem jeweiligen Szenario für das getestete Fahrerassistenzsystem hervorgeht, ein Maß für die Güte des Szenarios. Eine Pose im Sinne der Erfindung ist die räumliche Lage, insbesondere die Kombination von Position und Orientierung eines Objekts, insbesondere eines Teils einer anatomischen Struktur eines Lebewesens. Insbesondere kann sich die Pose auf einen separat beweglichen anatomischen Teil des Lebewesens beziehen, die insbesondere im Gesamtzusammenhang der Pose des Lebewesens mit einem Bewegungs-Erfassungs- System erfasst werden kann. Eine Erfassung kann insbesondere über Stereokameras, Infrarot Tracking, Bilderkennung oder mit vergleichbaren Systemen, insbesondere Bewegungs-Erfassungs-Systeme und Verfahren zur Bewegungserfassung in einem insbesondere dreidimensionalen Volumen erfolgen.
Ein Bewegungs-Erfassungs-System im Sinne der Erfindung kann insbesondere mit Markern, insbesondere mit aktiven oder insbesondere mit passiven Markern, oder ohne Marker eine Bewegung erfassen, insbesondere über Mustererkennung, Silhouettentracking, und/oder dergleichen. Das Bewegungs-Erfassungs-System kann insbesondere mit einem Prüfstand in Datenkommunikation verbunden sein, insbesondere drahtlos oder drahtgebunden. Das Bewegungs-Erfassungs-System kann an örtlich vom Prüfstand getrennt sein.
Der Erfindung liegt die Idee zu Grunde, eine wirklichkeitsgetreue virtuelle Abbildung von realen Lebewesen im Prüfstandsbetrieb eines Fahrzeugs mit Fahrerassistenzsystem zu schaffen. Durch das Aufzeichnen der erfassten Bewegungsdaten kann eine Datenbank mit den erfassten Bewegungsdaten erstellt werden. Auf diese aufgezeichneten Bewegungsdaten kann zurückgegriffen werden und ein Testszenario, insbesondere Szenarien, erstellt werden. Die aufgezeichneten Bewegungsdaten können mit anderen Bewegungsdaten kombiniert werden und/oder ergänzt werden. Die aufgezeichneten Bewegungsdaten können insbesondere einen Bewegungsatlas bilden, der als Grundlage für Bewegungssimulationen von virtuellen Lebewesen bzw. Avataren dienen .
Darüber hinaus kann durch die Erfindung ein Testumfeld erschaffen werden, das es ermöglicht, ein Fahrerassistenzsystem auf Interaktionen mit Lebewesen hin zu testen oder zu optimieren. Ferner können Situationen dargestellt werden, die bei Interaktion zwischen realen Fahrzeugen und realen Lebewesen, insbesondere wenigstens für das Lebewesen, gefährlich wären. In anderen Worten wird ermöglicht, potenziell lebensgefährliche Situationen für Lebewesen zu erzeugen, insbesondere mit geringfügigen Änderungen an den Bewegungsdaten, welche vorzugsweise computergeneriert oder errechnet sind, zu iterieren, sodass ein Fahrerassistenzsystem optimiert und/oder trainiert werden kann. Hierdurch kann insbesondere eine Güte des virtuellen Testumfelds, insbesondere des Szenarios, insbesondere in Bezug auf Lebewesen, verbessert werden.
In einer vorteilhaften Ausgestaltung können die erfassten Bewegungsdaten mit dem Stimulus für das reale Lebewesen in dem Bewegungs-Erfassungs-System verknüpft sein, und der zu den erfassten Bewegungsdaten dazugehörige Stimulus ebenfalls gespeichert werden. In einer weiteren vorteilhaften Ausgestaltung können die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten beim Erzeugen des virtuellen Testumfeld berücksichtigt werden.
In einer weiteren vorteilhaften Ausgestaltung kann das aufgezeichnete Szenario mit den erfassten Bewegungsdaten verknüpft sein und die zu dem entstandenen Szenario dazugehörigen Bewegungsdaten ebenfalls gespeichert werden.
In einer weiteren vorteilhaften Ausgestaltung können erfasste Bewegungsdaten beim Erzeugen des virtuellen Testumfelds wiederholt berücksichtigt werden.
Hierdurch wird ermöglicht, dass Bewegungsdaten nur einmal aufgezeichnet werden müssen und/oder dass insbesondere ein zeitlicher Verlauf einer Pose, die außerhalb eines Bereichs, in dem das Bewegungs-Erfassungs-System Bewegungen erfassen kann, dieser mit den Bewegungsdaten wiederholt werden kann, insbesondere im virtuellen Testumfeld, das insbesondere größer als das erfassbare Volumen des Bewegungs- Erfassungs-Systems sein kann. Vorteilhafterweise kann dadurch ermöglicht werden, dass das Bewegungs-Erfassungs-System kleiner ausgelegt werden kann als das virtuelle Testumfeld und dennoch Bewegungsdaten realer Lebewesen durch die virtuelle Simulation (Repräsentation) des realen Lebewesens im virtuellen Testumfeld darstellbar sind. Durch das Verknüpfen der erfassten Bewegungsdaten mit wenigstens einem, insbesondere visuellen, haptischen und/oder akustischen Stimulus wird ermöglicht , dass der Bewegungsatlas Reaktionen und/oder Interaktionen eines realen Lebewesens, insbesondere mit dem Ego-Objekt, situationsbedingt speichern kann. Diese können insbesondere eine direkte Interaktion des Lebewesens mit dem Ego-Objekt, vorzugsweise berühren, schieben oder dergleichen, umfassen und können insbesondere über entsprechende Interfaces wie beispielsweise haptische Handschuhe (englisch: „haptic (feedback) glove“) das reale Lebewesen in dem Bewegungs-Erfassungs-System stimulieren. Ferner können die erfassten Bewegungsdaten umfassen: einen Abstand des Ego-Objekts zum virtuellen Lebewesen im virtuellen Testumfeld, die Positionen der Objekte im virtuellen Testumfeld und/oder deren zeitliche Derivate, wie insbesondere eine Geschwindigkeit oder eine Beschleunigung, Daten zu Teilen des Ego-Objekts oder zur Gesamtheit der vom Ego-Objekt umfassten Teile.
Das Wiederholen von erfassten Bewegungsdaten im virtuellen Testumfeld kann sich insbesondere auf Bewegungsdaten beziehen, die den Verlauf der Pose mindestens eines Teils einer anatomischen Struktur des realen Lebewesens repräsentieren. Das Wiederholen der erfassten Bewegungsdaten kann insbesondere ermöglichen, dass durch das Wiederholen des zeitlichen Verlaufs der Pose an einer anderen Stelle oder an derselben Stelle im virtuellen Testumfeld ein für das Fahrerassistenzsystem veränderter Stimulus erzeugt werden kann. Vorteilhafterweise kann das Fahrerassistenzsystem dadurch eine Reaktion auf sich wiederholende und/oder an einer anderen Stelle im virtuellen Testumfeld auftretende, insbesondere gleichartige Stimuli, optimieren. Insbesondere kann dadurch ermöglicht werden, dass, insbesondere üblicherweise als ungewöhnlich wahrgenommene, Posen oder zeitliche Verläufe von, insbesondere ungewöhnlichen Posen wiederholt werden können, vorzugsweise als Stimulus oder Stimuli für das Fahrerassistenzsystem. Das Wiederholen der erfassten Bewegungsdaten im virtuellen Testfeld kann ermöglichen, dass das Fahrerassistenzsystem im Vergleich zu nicht wiederholbaren Bewegungsdaten (besser) trainiert werden kann, insbesondere mit einem Verfahren des maschinellen Lernens. Der Variationsraum von möglichen Szenarien wird dabei im Allgemeinen durch viele Dimensionen aufgespannt, z. B. verschiedene Straßeneigenschaften, ein Verhalten von anderen Verkehrsteilnehmern, Wetterbedingungen, etc.. Durch Bewegungsdaten kann eine weitere Dimension aufgespannt werden. Aus diesem nahezu unendlichen und multidimensionalen Parameterraum ist es zum Testen der Fahrerassistenzsysteme besonders relevant, solche Parameterkonstellationen für insbesondere kritische Szenarien zu extrahieren, welche zu ungewöhnlichen oder gefährlichen Fahrsituationen führen können. Dies kann insbesondere durch die Verknüpfung der Bewegungsdaten mit dem wenigsten einen Stimulus eingegrenzt werden.
In einer weiteren vorteilhaften Ausgestaltung kann der Prüfling als Hardware-in-the-Loop, insbesondere als Vehicle-in-the-Loop betrieben werden.
Hierdurch kann ermöglicht werden, dass die Hardware des Prüflings auf Szenarien im virtuellen Testumfeld reagieren kann und andererseits das virtuelle Testumfeld auf die Hardware des Prüflings reagieren kann. Vorteilhafterweise kann ermöglicht werden, dass der „Loop“ in Echtzeit betrieben wird. Dadurch kann ermöglicht werden, dass die Hardware des Prüflings unter Echtzeitbedingungen insbesondere getestet und oder optimiert wird.
In einer weiteren vorteilhaften Ausgestaltung kann das Erfassen mit mindestens einem, insbesondere einem visuellen, haptischen und/oder akustischen, Stimulus für das Lebewesen im Bewegungs-Erfassungs-System aus dem virtuellen Testumfeld verknüpft sein.
Ein Bewegungs-Erfassungs-System kann insbesondere derart gestaltet sein, dass ein oder mehrere, insbesondere ein Stimulus oder mehrere verschiedene Stimuli gleichzeitig dem realen Lebewesen im Bewegungs-Erfassungs-System präsentiert, bzw. eingespielt werden können. Diese können gerichtet sein, insbesondere wenn es sich um akustische Stimuli handelt, wie beispielsweise ein akustischer Reiz aus einer oder mehreren Richtungen, der für das reale Lebewesen ortbar ist oder sein kann oder im Wesentlichen nicht ortbare akustische Stimuli, wie insbesondere niederfrequente Stimuli. Hierdurch kann ermöglicht werden, dass Bewegungsdaten geclustert werden können, insbesondere mit ihren Verknüpfungen. Dadurch kann vorteilhafterweise ein Szenario mit, insbesondere geclusterten, Bewegungsdaten abgeändert werden, um insbesondere Variationen der Testszenarien, insbesondere des virtuellen Testumfelds zu erzeugen.
In einer weiteren vorteilhaften Ausgestaltung kann das wiederholte Berücksichtigen der erfassten Bewegungsdaten, insbesondere das Wiederholen der erfassten Bewegungsdaten, ein Verändern des mindestens einen Teils der anatomischen Struktur umfassen. Alternativ oder ergänzend kann das Wiederholen der Bewegungsdaten ein Verändern des zeitlichen Verlaufs der Pose des mindestens einen Teils der anatomischen Struktur umfassen.
Hierdurch kann ermöglicht werden, dass das virtuelle Lebewesen insbesondere an verschiedene Ausprägungen des wenigstens einen Teils der anatomischen Struktur angepasst werden kann, die biologisch bei mit dem realen Lebewesen vergleichbaren realen Lebewesen auftreten können. Ferner kann durch Verändern des zeitlichen Verlaufs der Pose ermöglicht werden, dass ein Teil einer Bewegung betont, insbesondere beschleunigt oder verlangsamt, werden kann. Hierdurch kann vorteilhafterweise das Fahrerassistenzsystem auf insbesondere verschiedene Ausprägungen einer Bewegung, insbesondere eines zeitlichen Verlaufs einer Pose, insbesondere trainiert werden und/oder optimiert werden.
In einer vorteilhaften Ausgestaltung kann ein Verändern des mindestens einen Teils der anatomischen Struktur basierend auf dem empirischen Quantil des Teils der anatomischen Struktur durchgeführt werden.
Hierdurch kann ermöglicht werden, dass ein Szenario, insbesondere an die Ausprägungen des wenigstens einen Teils der anatomischen Struktur gemäß eines empirischen Quantils von realen Lebewesen angepasst werden kann, insbesondere gemäß eines entsprechenden Perzentils des wenigstens einen Teils der anatomischen Struktur. Hierdurch kann insbesondere ermöglicht werden, dass mit einer Erfassung von Bewegungsdaten insbesondere eine Vielzahl an virtuellen Lebewesen erzeugt werden kann, insbesondere für ein Szenario und/oder eine Vielzahl von Szenarien. In einer weiteren vorteilhaften Ausgestaltung kann ein Zeitverlauf des virtuellen Testumfelds beim wiederholten Berücksichtigen, insbesondere beim Wiederholen, der Bewegungsdaten schneller oder langsamer als der zeitliche Verlauf der Bewegungsdaten oder schneller oder langsamer als Echtzeit sein. Hierdurch kann insbesondere ermöglicht werden, dass, wenn der Zeitverlauf langsamer als Echtzeit ist, beispielsweise rechenaufwändige Simulationen durchgeführt werden können, insbesondere Finite Elemente Simulationen zur Strukturoptimierung, numerische Strömungsmechanik Simulationen zur Formoptimierung oder Thermodynamische Simulationen zur Systemoptimierung.
Hierdurch wird ermöglicht, dass insbesondere ein besseres Verständnis des Szenarios im Testumfeld erreicht werden kann und/oder eine Abstimmung oder Einstellung des Fahrerassistenzsystem verbessert werden kann. Ferner können hierdurch insbesondere mechanische und/oder konstruktive Ausgestaltungen/Veränderungen am Ego-Objekt in Bezug auf Lebewesen erprobt und/oder insbesondere durch Simulation(en) getestet werden. Ferner kann durch einen veränderbaren Zeitverlauf des virtuellen Testumfelds insbesondere ermöglicht werden, dass, wenn der Zeitverlauf schneller als Echtzeit ist, eine Vielzahl an Szenarien geprüft werden kann, insbesondere eine Vielzahl an Variationen eines Szenarios, insbesondere mit Veränderungen des zeitlichen Verlaufs der Pose eines virtuellen Lebewesens.
In einer weiteren vorteilhaften Ausgestaltung kann das wiederholte Berücksichtigen, insbesondere das Wiederholen, ferner umfassen: wiederholtes Berücksichtigen, insbesondere Wiederholen, von zweiten erfassten Bewegungsdaten, die sich von den ersten erfassten Bewegungsdaten unterscheiden, beim Erzeugen des virtuellen Testumfelds.
Hierdurch kann insbesondere ermöglicht werden, dass Wiederholungen in Bewegungsabläufen mit unterschiedlichen Komponenten mit in das Szenario eingebracht werden können. Insbesondere kann eine Geste mit einer weiteren Geste in unterschiedlichen Zusammenstellungen wiederholt werden. Hierdurch kann ermöglicht werden, dass insbesondere das Fahrerassistenzsystem nicht auf einen bestimmten zeitlichen Verlauf einer Pose trainiert, bzw. optimiert wird, sondern dass das Fahrerassistenzsystem insbesondere auch mit unterschiedlichen zeitlichen Verläufen von Posen konfrontiert wird und insbesondere entsprechend optimiert werden kann.
In einer weiteren vorteilhaften Ausgestaltung kann das Verfahren ferner, insbesondere folgende Arbeitsschritte, aufweisen: Ermitteln von Übergangsdaten von den ersten erfassten Bewegungsdaten zu den zweiten erfassten Bewegungsdaten, wobei die Übergangsdaten einen zeitlichen und/oder räumlichen Übergang von den ersten erfassten Bewegungsdaten zu den zweiten erfassten Bewegungsdaten beschreiben. Ferner kann das Verfahren umfassen:
Wiedergeben der Übergangsdaten zeitlich zwischen den ersten erfassten Bewegungsdaten und den zweiten erfassten Bewegungsdaten im virtuellen Testumfeld.
Hierdurch kann insbesondere ermöglicht werden, dass Bewegungsdaten, die an sich nicht zusammenhängende zeitliche Verläufe eine Pose repräsentieren im virtuellen Testumfeld kombiniert wiedergegeben werden können und/oder dargestellt werden können. Insbesondere kann hierdurch ermöglicht werden, dass Bewegungsdaten die nicht zusammenhängend im Bewegungs-Erfassungs-System erfasst wurden und/oder aufgezeichnet wurden, kombiniert werden können. Vorteilhafterweise kann hierdurch ermöglicht werden, dass die Bewegungsdaten von verschiedenen realen Lebewesen miteinander kombiniert werden können, insbesondere aus einer Kombination von zwei oder mehr Bewegungsdaten zu einer, insbesondere für einen Beobachter und/oder der virtuellen Repräsentation eines Fahrzeugs, insbesondere für das Ego-Objekt, das wenigstens teilweise als Prüfling auf einem Prüfstand betrieben wird, im virtuellen Testumfeld, Gesamtbewegung eines virtuellen Lebewesens im virtuellen Testumfeld.
In einer weiteren vorteilhaften Ausgestaltung umfasst das Verfahren, dass die ersten erfassten Bewegungsdaten und die zweiten erfassten Bewegungsdaten randomisiert kombiniert werden können.
Hierdurch kann insbesondere ermöglicht werden, dass das Fahrerassistenzsystem auf, insbesondere ungewöhnliche, Bewegungen, die aus insbesondere ersten erfassten Bewegungsdaten und zweiten erfassten Bewegungsdaten randomisiert kombiniert sind, optimiert und/oder trainiert werden kann. Alternativ können die ersten erfassten Bewegungsdaten und die zweiten erfassten Bewegungsdaten basierend auf Kombinationen von den ersten erfassten Bewegungsdaten und den zweiten erfassten Bewegungsdaten kombiniert werden, insbesondere kann die Kombination der ersten erfassten Bewegungsdaten und der zweiten erfassten Bewegungsdaten auf maschinellem Lernen basieren. Insbesondere kann maschinelles Lernen ermöglichen, dass erste Bewegungsdaten und zweite Bewegungsdaten in einer Art und Weise kombiniert werden, die einer natürlichen Bewegung des realen Lebewesens entsprechen. Vorteilhafterweise können hierdurch insbesondere Bewegungsdaten kombiniert werden, die an unterschiedlichen Orten mit Bewegungs-Erfassungs- Systemen erfasst worden sind und insbesondere unterschiedlichen, insbesondere aber der gleichen Spezies angehörenden, realen Lebewesen zugeordnet sind. Insbesondere kann das Verfahren umfassen, dass erfasste Bewegungsdaten von unterschiedlichen realen Lebewesen in der Art und Weise angepasst werden können, dass die erfassten Bewegungsdaten im virtuellen Testumfeld als Bewegungsdaten des virtuellen Lebewesens dargestellt werden können und insbesondere in der Art und Weise angepasst sind, dass die Bewegungsdaten den anatomischen Gegebenheiten des virtuellen Lebewesens entsprechen. Dies kann insbesondere durch ein Verfahren des maschinellen Lernens erfolgen.
In einer weiteren vorteilhaften Ausgestaltung kann das Verfahren ferner umfassen, dass ein Testingenieur eine Wiederholung von erfassten Bewegungsdaten auslösen kann. Hierdurch kann ermöglicht werden, dass ein Testingenieur in das virtuelle Testumfeld eingreifen kann und/oder ein Szenario individuell ändern, anpassen und/oder manipulieren kann. Dies kann insbesondere zeitlich und oder räumlich sein.
Ein Testingenieur im Sinne der Erfindung ist vorzugsweise ein Ingenieur, der sich mittels eines Systems der virtuellen Realität (englisch: „virtual reality“), der erweiterten Realität (englisch: „augmented reality“) oder der gemischten Realität (englisch: „mixed reality“) im virtuellen Testumfeld bewegen und/oder eingreifen kann. Der Testingenieur kann insbesondere Objekte im Szenario platzieren, entfernen und/oder manipulieren, insbesondere sowohl zeitlich als auch räumlich.
In einer weiteren vorteilhaften Ausgestaltung des Verfahrens kann das Aufzeichnen des Szenarios Parameter des Szenarios, je nach Art des zu testenden Fahrerassistenzsystems, aus der folgenden Gruppe ausgewählt, umfassen: Geschwindigkeit, insbesondere eine initiale Geschwindigkeit, des Fahrzeugs; Trajektorie des Fahrzeugs; Lichtverhältnisse; Witterung; Fahrbahnbeschaffenheit; Anzahl und Position statischer und/oder dynamischer Objekte, insbesondere virtueller Lebewesen, weiter insbesondere in Bezug auf das Fahrzeug; Geschwindigkeit und Bewegungsrichtung der dynamischen Objekte, insbesondere Bewegungsdaten der virtuellen Lebewesen; Zustand von Signalanlagen, insbesondere von Lichtsignalanlagen; Verkehrszeichen; vertikale Elevation, Breite und/oder Befahrbarkeit von Fahrspuren, Fahrspurenverlauf, Anzahl der Fahrspuren; kritische Infrastruktur wie z.B. sichtbehindernde Bauwerksteile.
Die im Vorhergehenden beschriebenen Merkmale und Vorteile in Bezug auf den ersten Aspekt der Erfindung gelten entsprechend auch für die weiteren Aspekte der Erfindung und umgekehrt.
Weitere Merkmale und Vorteile ergeben sich aus der nachfolgenden Beschreibung in Bezug auf die Figuren. Es zeigen wenigstens teilweise schematisch:
Figur 1a: ein Blockdiagramm eines ersten Ausführungsbeispiels eines
Verfahrens zum Betreiben eines Prüfstands;
Figur 1b: ein Blockdiagramm eines zweiten Ausführungsbeispiels eines
Verfahrens zum Betreiben eines Prüfstands;
Figur 3: ein Beispiel zu Szenarien im virtuellen Testumfeld;
Figur 4: ein Ausführungsbeispiel eines Systems zum Betreiben eines
Prüfstandes; und
Figuren 5a bis 5e: Ausführungsbeispiele verschiedener Komponenten eines Systems zum Betreiben eines Prüfstands und des Prüfstands. Figur 1 zeigt ein Blockdiagramm eines Ausführungsbeispiels eines Verfahrens 100 zum Betreiben eines Prüfstands 1 für ein Fahrzeug.
Arbeitsschritt 101 bezieht sich dabei auf das Erzeugen eines virtuellen Testumfelds, Arbeitsschritt 102 auf das Stimulieren eines realen Lebewesens, Arbeitsschritt 103 auf das Erfassen von Bewegungsdaten und Arbeitsschritt 104 auf das Aufzeichnen der erfassten Bewegungsdaten.
Das Verfahren 100 kann nach einem Ausführungsbeispiel, wie dargestellt, wiederholt werden, sodass insbesondere neue und/oder geänderte Testszenarien zum Testen eines Fahrerassistenzsystems erzeugt werden können.
Das Verfahren 100 umfasst insbesondere das Stimulieren 102 eines realen Lebewesens auf der Grundlage des erzeugten virtuellen Umfelds, das Erfassen 103 von Bewegungsdaten mit einem Bewegungs-Erfassungs-System, und Aufzeichnen, insbesondere Speichern, 104 der erfassten Bewegungsdaten, wobei die erfassten Bewegungsdaten mit wenigstens einem Stimulus für das reale Lebewesen 2 im Bewegungs-Erfassungs-System 12 aus dem virtuellen Testumfeld verknüpft sind.
Gestrichelt sind in Figur 1 der Arbeitsschritt des Ermittelns 105 von Übergangsdaten, der Arbeitsschritt des Wiedergebens 106 von Übergangsdaten und der Arbeitsschritt des wiederholten Berücksichtigens 107 von Bewegungsdaten, insbesondere mit Übergangsdaten, dargestellt. Das Verfahren kann insbesondere, wie dargestellt, teilweise oder zumindest im Wesentlichen in seiner Gesamtheit wiederholt werden. Insbesondere können auf diese Weise verschiedenen Szenarien zum Testen und/oder Optimieren eines Fahrerassistenzsystems erzeugt und ein Prüfstand entsprechend betrieben werden. Die gestrichelt dargestellten Arbeitsschritte sind optional.
Figur 2 zeigt ein Blockdiagramm eines weiteren Verfahrens 200 zum Betreiben eines Prüfstands. In Arbeitsschritt 201 wird ein virtuelles Testumfelds erzeugt. In Arbeitsschritt 202 werden Bewegungsdaten, insbesondere mit einem Bewegungs-Erfassungs-System erfasst und in Arbeitsschritt 203 ein Szenario aufgezeichnet. Arbeitsschritte 204, 205, 206 entsprechen den Arbeitsschritten 105, 106, 107 des Verfahrens 100 und sind optional und daher gestrichelt dargestellt, wobei in den Arbeitsschritten Übergangsdaten ermittelt werden, Übergangsdaten wiedergegeben werden und Bewegungsdaten wiederholt berücksichtigt werden.
Das Verfahren 200 gemäß Figur 2 unterscheidet sich von dem Verfahren 100 gemäß Figur 1 im Wesentlichen dadurch, dass Szenariendaten aufgezeichnet werden, welche ein Szenario charakterisieren. Mittels einer Schnittstelle 22, insbesondere einer Benutzerschnittstelle wie einem Bewegungs-Erfassungs-Systems, werden Bewegungsdaten erfasst und zusammen mit den Reaktionen des Fahrerassistenzsystems wiederum beim Erzeugen des virtuellen Testumfelds berücksichtigt.
Vorzugsweise kann das Verfahren 200 auch auf der Grundlage des Verfahrens 100 betrieben werden, wobei die in dem Verfahren 100 erfassten Bewegungsdaten übergeben werden.
In Fig. 3 ist ein beispielhaftes virtuelles Testumfeld dargestellt, welches von den Verfahren 100, 200 zum Betreiben eines Prüfstands erzeugt werden kann.
Ein durch ein Fahrerassistenzsystem gesteuertes virtuelles Fahrzeug 3‘ fährt auf dem rechten Fahrstreifen. Darüber hinaus sind neben dem Fahrstreifen weitere Fahrzeuge 5b, 5c, 5d geparkt, durch welche der virtuelle Fußgänger 2‘ für die Sensoren des Fahrerassistenzsystems nicht oder nur schlecht erfassbar ist.
Neben dem virtuellen Fußgänger 2‘ und den geparkten Fahrzeugen 5b, 5c, 5d befindet sich im Umfeld des durch das Fahrerassistenzsystem gesteuerten Fahrzeugs 3‘ , auch Ego-Fahrzeug, ein weiteres Fahrzeug 5a, welches dem durch das Fahrerassistenzsystem gesteuerten Fahrzeug 3‘ auf dem anderen Fahrstreifen entgegenkommt. Hinter diesem weiteren Fahrzeug 5a fährt ein Motorradfahrer 4. Ob dieser im Umfeld des durch das Fahrerassistenzsystem gesteuerten virtuellen Fahrzeugs 3‘ wahrnehmbar ist, lässt sich aus Figur 3 nicht deuten. In dem dargestellten Testumfeld wird der Motorradfahrer 4 versuchen, das weitere Fahrzeug 5a auf der anderen Fahrspur zu überholen. Gleichzeitig überquert der virtuelle Fußgänger 2‘ in dem dargestellten Szenario die Straße.
Je nachdem, wie das Fahrerassistenzsystem in dem Testumfeld reagiert oder agiert, d. h., welches Fahrverhalten das Fahrerassistenzsystem in dem Testumfeld des virtuellen Fahrzeugs 3‘ zeigt, wird sich ein Szenario ergeben, das gefährlich oder weniger gefährlich ist.
In Fig. 4 ist ein Ausführungsbeispiel eines Systems 10 zum Betreiben eines Prüfstands 1 mit virtuellen Testumfeld dargestellt.
Dieses System 10 weist vorzugsweise Simulationsmittel 11 zum Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen 2‘ und wenigstens einem virtuellen Fahrzeug 3‘ auf.
Um einen virtuelles Lebewesen 2‘, im gezeigten Beispiel eines Fußgängers, als Verkehrsteilnehmer 2‘ durch einen ersten Benutzer 2 steuerbar zu machen, kann das System 10 des Weiteren eine erste Benutzerschnittstelle 13 und vorzugsweise eine zweite Benutzerschnittstelle 12 aufweisen.
Die wenigstens eine erste Benutzerschnittstelle 13 kann zum Ausgeben eines virtuellen Umfelds des virtuellen Fußgängers 2‘ an einen ersten Benutzer 2 dienen. Bei der Benutzerschnittstellen 13 kann es sich um Stimulationsmittel wie eine optische Benutzerschnittstelle, insbesondere ein Head-mounted-Device oder einen Bildschirm, und/oder Audio-Schnittstellen wie Lautsprecher und gegebenenfalls Vorrichtungen, mit welchen der Gleichgewichtssinn des jeweiligen Benutzers beeinflusst werden kann, handeln.
Die zweite Benutzerschnittstelle 12 ist vorzugsweise eingerichtet, um Eingaben des jeweiligen Benutzers 2 zu erfassen. Hierbei handelt es sich vorzugsweise um ein Bewegungs-Erfassungs-System 12, welches die Posen und Bewegungen des Benutzers 2 über verschiedene Sensoren und beispielsweise ein Laufband erfassen kann.
Des Weiteren weist das System 10 vorzugsweise Speichermittel 14 zum Aufzeichnen der erfassten Bewegungsdaten auf.
Ferner weist das System 10 vorzugsweise einen Datenspeicher 15 zum Bereitstellen von Szenariendaten auf, welche ein Szenario charakterisieren, in welchem sich der virtuelle Fußgänger 2‘ befindet.
Die Simulationsmittel 11 sind vorzugsweise eingerichtet, um ein virtuelles Testumfeld eines virtuellen Fahrzeugs 3‘ auf der Grundlage der Szenariendaten zu simulieren. Des Weiteren sind die Simulationsmittel 1 1 vorzugsweise auch eingerichtet, um dieses Umfeld zu rendern.
Eine Schnittstelle 6 des Prüfstands 1 ist schließlich eingerichtet, um das virtuelle Testumfeld an ein Fahrerassistenzsystem des Fahrzeugs 3 auszugeben. Eine solche Schnittstelle 6 kann, wenn das Fahrerassistenzsystem eine optische Kamera K aufweist, ein Bildschirm sein, wie in Fig. 4 dargestellt.
Die Mittel 11 zum Simulieren berechnen auf der Grundlage eines erfassten Signals S und des simulierten Umfelds ein Antwortsignal S', welches wiederum an die Kamera K des Fahrerassistenzsystems ausgegeben wird. Auf diese Weise kann die Funktion des Fahrerassistenzsystems getestet werden. Das Antwortsignal S' kann auch über einen Radar-Stimulator an ein Radar eines Fahrerassistenzsystems ausgegeben werden. Weitere Umfelder können für ein Lidar, ein Ultraschall oder eine Infrarotkamera simuliert werden.
Je nachdem, welche Komponenten eines Fahrerassistenzsystems getestet werden sollen, kann das simulierte virtuelle Testumfeld, wie in Fig. 4 gezeigt, durch Emulation von Signalen an den Sensor K des Fahrerassistenzsystems ausgegeben werden. Alternativ kann aber auch ein Signal erzeugt werden, welches direkt in die Datenverarbeitungseinheit des Fahrerassistenzsystems eingespeist wird oder auch ein Signal, welches lediglich durch die Software des Fahrerassistenzsystems verarbeitet wird.
Vorzugsweise sind das Speichermittel 14 und die Mittel zum Simulieren 1 1 Teil einer Datenverarbeitungseinrichtung.
Figuren 5a bis 5e zeigen Ausführungsbeispiele für ein System 10 mit einem Bewegungs- Erfassungs-System 12 , wobei das System 10 insbesondere beim Arbeitsschritt des Erfassens 103, 202von Bewegungsdaten gezeigt ist, in welchem Bewegungen des Fußgängers 2 über Sensoren erfasst werden.
In Figur 5a ist als reales Lebewesen 2 ein Fußgänger derart ausgestattet, dass seine Bewegungen, insbesondere die Bewegungen von Teilen seiner Anatomie, aufgezeichnet werden können.
Der dargestellte Mensch befindet sich auf einem Laufband, mit dem insbesondere Bewegungsabläufe beim Fortbewegen simuliert werden können. Weiterhin kann insbesondere der zeitliche Verlauf einer Pose (des wenigstens einen Teils einer anatomischen Struktur) erfasst und/oder aufgezeichnet werden.
Dieser zeitliche Verlauf einer Pose kann als Bewegungsdaten erfasst werden und/oder aufgezeichnet werden. Diese Bewegungsdaten können dann, wie in Figur 5b dargestellt, auf ein virtuelles Lebewesen 2‘, insbesondere einen Avatar, übertragen werden. Das virtuelle Lebewesen 2‘ führt dann die gleichen oder zumindest im Wesentlichen dieselben Bewegungen aus wie das reale Lebewesen 2. Mit anderen Worten können die vom realen Lebewesen 2 erfassten Bewegungsdaten auf ein virtuelles Lebewesen 2‘, insbesondere einen Avatar übertragen werden, sodass der Avatar die gleichen Bewegungen ausführt wie das reale Lebewesen 2.
Das virtuelle Lebewesen 2‘ wird beim Arbeitsschritt Erzeugen 101 , 201 eines virtuellen Testumfelds so in das Testumfeld eingebettet, dass das virtuelle Lebewesen 2‘, insbesondere der Avatar, im virtuellen Testumfeld zumindest im Wesentlichen den gleichen zeitlichen Verlauf an Posen repräsentiert. In Fig. 5c ist ein beispielhaftes virtuelles Testumfeld gezeigt, das einen Zebrastreifen, zwei Fahrbahnen, wobei auf der gegenläufigen Fahrbahn einen Bus und ein dahinter angeordnetes weiteres Fahrzeug angeordnet sind, sowie einen virtuellen Fußgänger2‘ am Beginn des Zebrastreifens, der über die Fahrbahn des Ego-Fahrzeugs führt. Ferner sind in dem dargestellten virtuellen Testumfeld vom Fahrerassistenzsystem bereits bekannte, bzw. erkannte Objekte umrahmt.
Die Sicht des virtuellen Fußgängers 2‘ korreliert mit der Sicht des realen Menschen 2 im Bewegungs-Erfassungs-System 12, wobei dem Menschen 2 diese Sicht insbesondere mit einer Brille der erweiterten Realität (englisch: „augmented reality“), einer Brille für virtuelle Realität (englisch: „virtual reality“) oder einer Brille für gemischte Realität (englisch: „mixed reality“) dargestellt werden kann (in Fig. 5c nicht gezeigt).
Das reale Lebewesen 2 kann dann auf die Situation, respektive das Szenario im virtuellen Testumfeld reagieren und diese Reaktion wird wiederum im virtuellen Testumfeld durch die erfassten Bewegungsdaten des realen Lebewesens 2 mit dem virtuellen Lebewesen 2‘ dargestellt.
In Fig. 5d ist ist eine Projektion des virtuellen Testumfelds für Sensoren, insbesondere Kamerasensoren, des Prüflings 3 auf einem Prüfstand 1 mittels eines Bildschirms 6 gezeigt. Im dort dargestellten Testumfeld ist das virtuelle Lebewesen 2‘ auf der Fahrbahn zu erkennen.
Das Testumfeld kann, wie in Fig. 5e als ein Ausführungsbeispiel dargestellt, einem Prüfling 3 präsentiert werden, sodass ein mit dem Prüfling 3 assoziiertes Fahrerassistenzsystem das virtuelle Lebewesen 2‘ mittels seiner Sensoren erfassen kann. Dazu zeigt Fig. 5e einen Teil eines realen Fahrzeugs als Prüfling 3 auf einem Prüfstand 1 , sowie vor dem Fahrzeug 3 angeordnet eine Projektion 6 des virtuellen Testumfelds aus der Perspektive des virtuellen Fahrzeugs 3‘.
Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendung und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere im Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.

Claims

ANSPRÜCHE Verfahren (100) zum Betreiben eines Prüfstands (1 ) für Fahrzeuge mittels Simulationsmitteln (11 ) und einem Bewegungs-Erfassungs-System (12), folgende Arbeitsschritte aufweisend:
Erzeugen (101 ) eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen (2‘) und wenigstens einem virtuellen Fahrzeug (3‘) mittels der Simulationsmittel (11 ), wobei eines der virtuellen Lebewesen (3‘) eine virtuelle Repräsentation eines realen Lebewesens (3) ist und wobei eines der virtuellen Fahrzeuge (3‘) eine virtuelle Repräsentation eines Fahrzeugs (3) mit einem Fahrerassistenzsystem ist, wobei zusätzlich wenigstens Teile des Fahrzeugs (3) als realer Prüfling auf dem Prüfstand (1 ) betrieben werden, wobei das Fahrerassistenzsystem auf der Grundlage des virtuellen Testumfelds betrieben, insbesondere stimuliert, wird;
Stimulieren (102) des realen Lebewesens (2) in dem Bewegungs-Erfassungs- System (12) auf der Grundlage des erzeugten virtuellen Umfelds mittels eines Stimulus;
Erfassen (103) von Bewegungsdaten mittels des Bewegungs-Erfassungs- Systems (12), wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens (2) beschreiben; und
Aufzeichnen (104) der erfassten Bewegungsdaten. Verfahren (100) nach Anspruch 1 , wobei die erfassten Bewegungsdaten mit dem Stimulus für das reale Lebewesen (2) in dem Bewegungs-Erfassungs-System (12) verknüpft sind, und der zu den erfassten Bewegungsdaten dazugehörige Stimulus ebenfalls gespeichert wird.
25 Verfahren (100) nach Anspruch 1 oder 2, wobei die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten beim Erzeugen des virtuellen Testumfelds berücksichtigt werden. Verfahren (200) zum Betreiben eines Prüfstands (1 ) für Fahrzeuge, insbesondere nach Anspruch 1 oder 2, folgende Arbeitsschritte aufweisend:
Erzeugen (201 ) eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen (2‘) und wenigstens einem virtuellen Fahrzeug (3‘) mittels Simulationsmitteln (21 ), wobei eines der virtuellen Lebewesen (2‘) eine virtuelle Repräsentation eines realen Lebewesens (2) ist und eines der virtuellen Fahrzeuge (3‘) eine virtuelle Repräsentation eines Fahrzeugs (3) mit einem Fahrerassistenzsystem ist, wobei wenigstens Teile des Fahrzeugs (3) als realer Prüfling auf einem Prüfstand (1 ) betrieben werden und wobei das Fahrerassistenzsystem auf der Grundlage des virtuellen Testumfelds betrieben, insbesondere stimuliert, wird;
Erfassen (202) von Bewegungsdaten, insbesondere mittels des Bewegungs- Erfassungs-Systems (22) (Engi: Motion Capture System), wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens (3) beschreiben; und
Aufzeichnen (203) eines Szenarios, welches durch eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten entsteht; wobei die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten beim Erzeugen des virtuellen Testumfelds berücksichtigt werden. Verfahren (200) nach Anspruch 4, wobei das aufgezeichnete Szenario mit den erfassten Bewegungsdaten verknüpft ist und die zu dem entstandenen Szenario dazugehörigen Bewegungsdaten ebenfalls gespeichert werden. Verfahren (100, 200) nach einem der Ansprüche 3 bis 5, wobei erfasste Bewegungsdaten beim Erzeugen des virtuellen Testumfelds wiederholt berücksichtigt werden. Verfahren (100, 200) nach einem der Ansprüche 1 bis 6, wobei der Prüfling (3) als Hardware-in-the-Loop, insbesondere als Vehicle-in-the-Loop betrieben wird. Verfahren (100, 200) nach einem der Ansprüche 1 bis 7, wobei das wiederholte Berücksichtigen der erfassten Bewegungsdaten ein Verändern des mindestens einen Teils der anatomischen Struktur und/oder ein Verändern des zeitlichen Verlaufs der Pose des mindestens einen Teils der anatomischen Struktur umfasst. Verfahren (100, 200) nach Anspruch 8, wobei ein Verändern des mindestens einen Teils der anatomischen Struktur basierend auf dem empirischen Quantil des Teils der anatomischen Struktur durchgeführt wird. Verfahren (100, 200) nach einem der Ansprüche 6 bis 9, wobei ein Zeitverlauf des virtuellen Testumfelds beim wiederholten Berücksichtigen der Bewegungsdaten schneller oder langsamer als der zeitliche Verlauf der Bewegungsdaten oder schneller oder langsamer als Echtzeit ist. Verfahren (100, 200) nach einem der Ansprüche 1 bis 10, des Weiteren den folgenden Arbeitsschritt aufweisend: wiederholtes Berücksichtigen (107, 206) von zweiten erfassten
Bewegungsdaten, die sich von den ersten erfassten Bewegungsdaten unterscheiden, beim Erzeugen des virtuellen Testumfelds. Verfahren (100, 200) nach Anspruch 11 , wobei das Verfahren des Weiteren die folgenden Arbeitsschritte aufweist:
Ermitteln (105, 204) von Übergangsdaten von den ersten erfassten Bewegungsdaten zu den zweiten erfassten Bewegungsdaten, wobei die Übergangsdaten einen zeitlichen und/oder räumlichen Übergang von den ersten erfassten Bewegungsdaten zu den zweiten erfassten Bewegungsdaten beschreiben; und
Wiedergeben (106, 205) der Übergangsdaten zeitlich zwischen den ersten erfassten Bewegungsdaten und den zweiten erfassten Bewegungsdaten beim Erzeugen des virtuellen Testumfelds. Verfahren (100, 200) nach einem der vorhergehenden Ansprüche 11 oder 12, wobei die ersten erfassten Bewegungsdaten und die zweiten erfassten Bewegungsdaten randomisiert kombiniert werden oder wobei die ersten erfassten Bewegungsdaten und die zweiten erfassten Bewegungsdaten basierend auf Kombinationen von den ersten erfassten Bewegungsdaten und den zweiten erfassten Bewegungsdaten kombiniert werden, insbesondere wobei die Kombination der ersten erfassten Bewegungsdaten und der zweiten erfassten Bewegungsdaten auf maschinellem Lernen basiert. Verfahren (100, 200) nach einem der vorhergehenden Ansprüche 11 bis 13, wobei ein Testingenieur eine Wiederholung von erfassten Bewegungsdaten auslösen kann. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer diese dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 14 durchzuführen. System (10) zum Betreiben eines Prüfstands (1 ) für Fahrzeuge, aufweisend:
Simulationsmittel (11 ), eingerichtet zum Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen (2‘) und wenigstens einem virtuellen Fahrzeug (3‘), wobei eines der virtuellen Lebewesen (2‘) eine virtuelle Repräsentation eines realen Lebewesens (2) ist und wobei eines der virtuellen Fahrzeuge (3‘) eine virtuelle Repräsentation eines Fahrzeugs mit dem Fahrerassistenzsystem ist, wobei zusätzlich wenigstens Teile des Fahrzeugs (3) als realer Prüfling auf dem Prüfstand (1 ) betrieben werden, und zum Betreiben,
29 insbesondere Stimulieren, des Fahrerassistenzsystems auf der Grundlage des virtuellen Testumfelds; ein Bewegungs-Erfassungs-System (12) zum Erfassen von Bewegungsdaten, wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens (2) beschreiben;
Stimulationsmittel (13), eingerichtet zum Stimulieren des realen Lebewesens (2) in dem Bewegungs-Erfassungs-System (12) auf der Grundlage des erzeugten virtuellen Umfelds mittels eines Stimulus; und
Speichermittel (14) zum Aufzeichnen der erfassten Bewegungsdaten. System (10) zum Betreiben eines Prüfstands (1 ) für Fahrzeuge, insbesondere nach Anspruch 16, aufweisend:
Simulationsmittel (11 ), eingerichtet zum Erzeugen eines virtuellen Testumfelds mit wenigstens einem virtuellen Lebewesen (2) und wenigstens einem virtuellen Fahrzeug (3), wobei eines der virtuellen Lebewesen (2) eine virtuelle Repräsentation eines realen Lebewesens ist und wobei eines der virtuellen Fahrzeuge (3‘) eine virtuelle Repräsentation eines Fahrzeugs (3) mit dem Fahrerassistenzsystem ist, wobei das Fahrzeug (3) zusätzlich wenigstens teilweise als realer Prüfling auf dem Prüfstand betrieben wird und zum Betreiben, insbesondere Stimulieren, des Fahrerassistenzsystems auf der Grundlage des virtuellen Testumfelds; ein Mittel (12), insbesondere ein Bewegungs-Erfassungs-System oder eine Schnittstelle, eingerichtet zum Erfassen von Bewegungsdaten, wobei die Bewegungsdaten einen zeitlichen Verlauf der Pose des mindestens einen Teils einer anatomischen Struktur des realen Lebewesens (2) beschreiben; und Speichermittel (14) zum Aufzeichnen eines Szenarios, welches durch eine Reaktion des Fahrerassistenzsystems auf die erfassten Bewegungsdaten entsteht; wobei die erfassten Bewegungsdaten und eine Reaktion des Fahrerassistenzsystems auf das virtuelle Lebewesen (2‘) beim Erzeugen des virtuellen Testumfelds berücksichtigt werden.
31
EP22826309.1A 2021-11-09 2022-11-09 Testumfeld für urbane mensch-maschine interaktion Pending EP4430375A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50891/2021A AT525369B1 (de) 2021-11-09 2021-11-09 Testumfeld für urbane Mensch-Maschine Interaktion
PCT/AT2022/060388 WO2023081948A1 (de) 2021-11-09 2022-11-09 Testumfeld für urbane mensch-maschine interaktion

Publications (1)

Publication Number Publication Date
EP4430375A1 true EP4430375A1 (de) 2024-09-18

Family

ID=84537618

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22826309.1A Pending EP4430375A1 (de) 2021-11-09 2022-11-09 Testumfeld für urbane mensch-maschine interaktion

Country Status (7)

Country Link
US (1) US20240320132A1 (de)
EP (1) EP4430375A1 (de)
JP (1) JP2024539389A (de)
KR (1) KR20240107155A (de)
CN (1) CN118742799A (de)
AT (1) AT525369B1 (de)
WO (1) WO2023081948A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023119511A1 (de) * 2023-07-24 2025-01-30 Friedrich-Alexander-Universität Erlangen-Nürnberg, Körperschaft des öffentlichen Rechts Verfahren zur Erzeugung von Sensordaten einer Bewegung eines Lebewesens
US12560946B2 (en) * 2024-04-19 2026-02-24 Nvidia Corporation Using simulated environments to improve autonomous robot operation in real environments
JP7850469B1 (ja) 2024-10-30 2026-04-23 株式会社スペースデータ 情報処理装置、方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006044086B4 (de) * 2006-09-20 2013-05-29 Audi Ag System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
DE102017107396B4 (de) * 2017-04-06 2021-03-25 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
GB2563400A (en) 2017-06-13 2018-12-19 Kompetenzzentrum Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction
DE102018200011A1 (de) * 2018-01-02 2019-07-04 Ford Global Technologies, Llc Testsystem und Verfahren zum Testen einer Steuerung eines zumindest teilweise autonom fahrenden Fahrzeugs in einer virtuellen Umgebung

Also Published As

Publication number Publication date
US20240320132A1 (en) 2024-09-26
JP2024539389A (ja) 2024-10-28
AT525369A4 (de) 2023-03-15
AT525369B1 (de) 2023-03-15
WO2023081948A1 (de) 2023-05-19
CN118742799A (zh) 2024-10-01
KR20240107155A (ko) 2024-07-08

Similar Documents

Publication Publication Date Title
DE102006044086B4 (de) System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
DE102017107396B4 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
WO2023081948A1 (de) Testumfeld für urbane mensch-maschine interaktion
DE102018200011A1 (de) Testsystem und Verfahren zum Testen einer Steuerung eines zumindest teilweise autonom fahrenden Fahrzeugs in einer virtuellen Umgebung
DE102017112634B4 (de) Kraftfahrzeug mit Fahrmodus und Simulationsmodus
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
AT524821B1 (de) Verfahren und System zum Erzeugen von Szenariendaten zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
EP3978294B1 (de) Head-up-displayeinrichtung und verfahren zum betreiben einer head-up-displayeinrichtung
AT524822B1 (de) Verfahren zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
AT524280A1 (de) Verfahren und ein System zum Testen eines Fahrerassistenzsystems für ein Fahrzeug
DE102021104110A1 (de) Verfahren zur Parametrierung einer Bildsynthese aus einem 3D-Modell
DE102014208352A1 (de) System und Verfahren zum Instruieren eines Teilnehmers eines Fahrertrainings
WO2022106336A1 (de) Verfahren zum steuern eines kraftfahrzeugs und steuergerät
DE102020202404A1 (de) Erfassung einer nicht-aktiven Reaktion eines Fahrers zur Anpassung zumindest eines Parameters einer automatisierten Fahrfunktion eines Fahrzeugs
EP3534240A1 (de) Verfahren und vorrichtung zur daten-annotation
DE102020104359A1 (de) Arbeitsraumbegrenzung für einen Robotermanipulator
EP4505304A1 (de) Test einer automatischen fahrsteuerfunktion mittels semi-realer verkehrsdaten
DE102024130892A1 (de) Verfahren und system zur verbesserung der erkennung von ferngesteuerten dummies für die entwicklung und validierung von adas
EP4451159A1 (de) Hybrid-verkehrssimulation mit agentenmodellen zum test teleoperierter fahrzeuge
DE102015120929A1 (de) Verfahren zur vorbereitenden Simulation eines militärischen Einsatzes in einem Einsatzgebiet
EP4533432A1 (de) Verfahren zum betreiben eines informationssystems, computerprogrammprodukt sowie fahrzeug
DE102019130032A1 (de) Verfahren zum Erzeugen eines Bilddatensatzes für eine computerimplementierte Simulation
DE102019126401A1 (de) Verfahren zum Durchführen von Tests in einer virtuellen Umgebung
DE102019116919A1 (de) Verfahren zur schnellen Abschätzung der Sichtbarkeit eines virtuellen Objekts durch ein Sensorsystem

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240607

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Free format text: CASE NUMBER: APP_56047/2024

Effective date: 20241014

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS