DE102018103969A1 - Computer-implemented method for generating sensor data - Google Patents

Computer-implemented method for generating sensor data Download PDF

Info

Publication number
DE102018103969A1
DE102018103969A1 DE102018103969.7A DE102018103969A DE102018103969A1 DE 102018103969 A1 DE102018103969 A1 DE 102018103969A1 DE 102018103969 A DE102018103969 A DE 102018103969A DE 102018103969 A1 DE102018103969 A1 DE 102018103969A1
Authority
DE
Germany
Prior art keywords
model
backscatter
sensor
scanning
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018103969.7A
Other languages
German (de)
Inventor
Philipp Meyer
Sebastian Graf
Frank Schütte
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dspace GmbH
Original Assignee
Dspace GmbH
Dspace Digital Signal Processing and Control Engineering GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dspace GmbH, Dspace Digital Signal Processing and Control Engineering GmbH filed Critical Dspace GmbH
Priority to DE102018103969.7A priority Critical patent/DE102018103969A1/en
Priority to PCT/EP2019/054199 priority patent/WO2019162317A1/en
Publication of DE102018103969A1 publication Critical patent/DE102018103969A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4052Means for monitoring or calibrating by simulation of echoes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23446HIL hardware in the loop, simulates equipment to which a control module is fixed

Abstract

Computer-implementiertes Verfahren zur Erzeugung von Sensordaten zur Einspeisung in ein mittels HIL oder SIL-Test zu testenden Steuergeräts für aktive Umgebungssensoren, insbesondere automotive aktive Umgebungssensoren, ausgeführt mittels wenigstens einer elektronischen Recheneinheit (RT-PC), welches folgende Schritte umfasst: Einlesen eines 3D-Modells (3D-MOD), wobei das 3D-Modell eine Vielzahl Modellobjekte (OBJ) enthält, wobei das 3D-Modell eine zum Testen des Umgebungssensors definierte Umgebungsszene mit einer Vielzahl Umgebungsobjekten abbildet; Aussenden wenigstens eines Abtaststrahls in einem Sendewinkel in den Sichtbereich des Umgebungssensors (SEN); wobei das Verfahren weiterhin folgende Schritte umfasst: Generierung eines Kanalmodells (RAD-MOD), wobei das Generieren durch Verknüpfen von wenigstens einer Rückstreufunktion mit wenigstens einem Modellobjekt, wobei die Rückstreufunktion die Rückstreucharakteristik des simulierten Umgebungsobjekts abbildet; Verfolgung des Abtaststrahls durch das Kanalmodell, wobei die Abtaststrahlen mit den Modellobjekten entsprechend der verknüpften Rückstreufunktion wechselwirken, Detektion von Abtaststrahlen, die zurück zum Umgebungssensor reflektiert werden; Generierung einer Pfadliste, die die Pfade der zurück zum Umgebungssensor reflektierten Abtaststrahlen enthält, Generierung von Sensordaten (DAT) zur Einspeisung in das zu testende Steuergerät aus der generierten Pfadliste.

Figure DE102018103969A1_0000
Computer-implemented method for generating sensor data for feeding into an HIL or SIL test to be tested control device for active environment sensors, in particular automotive active environment sensors, carried out by at least one electronic computing unit (RT-PC), comprising the steps of: reading a 3D Model (3D-MOD), wherein the 3D model includes a plurality of model objects (OBJ), the 3D model mapping an environment scene defined to test the environmental sensor with a plurality of environment objects; Emitting at least one scanning beam at a transmission angle into the field of view of the environmental sensor (SEN); the method further comprising the steps of: generating a channel model (RAD-MOD), the generating by linking at least one backscatter function to at least one model object, the backscatter function mapping the backscatter characteristic of the simulated environmental object; Tracking the scanning beam through the channel model, the scanning beams interacting with the model objects in accordance with the associated backscatter function, detecting scanning beams that are reflected back to the environmental sensor; Generation of a path list which contains the paths of the scanning beams reflected back to the environmental sensor, generation of sensor data (DAT) for feeding into the control unit to be tested from the generated path list.
Figure DE102018103969A1_0000

Description

Die Erfindung betrifft ein computer-implementiertes Verfahren zur Erzeugung von Sensordaten zur Einspeisung in ein Steuergerät für aktive Sensorsysteme, insbesondere Steuergeräte für Radar-, Lidar- und Ultraschallbasierte Sensoren, welches mittels Hardware-in-the-Loop- oder Software-in-the-Loop-Test (HIL- oder SIL-Test) getestet wird. Darüber hinaus betrifft die Erfindung eine Vorrichtung zum Echtzeittesten eines oder mehrerer Steuergeräte für die oben genannten aktiven Sensorsysteme mittels HIL-Simulation.The invention relates to a computer-implemented method for generating sensor data for feeding into a control device for active sensor systems, in particular control devices for radar, lidar and ultrasound-based sensors, which by means of hardware-in-the-loop or software-in-the- Loop test (HIL or SIL test) is tested. Moreover, the invention relates to a device for real-time testing of one or more control devices for the above-mentioned active sensor systems by means of HIL simulation.

Verfahren und Vorrichtungen dieser Art sind bekannt im Bereich der Entwicklung und Absicherung sicherheitskritischer Steuergeräte, wie sie beispielsweise von Automobilzulieferern durchgeführt werden. Dies betrifft auch die Untergruppe der Steuergeräte, die für Fahrerassistenzsysteme eingesetzt werden. Solche Geräte finden Anwendung in Einparkhilfen, Spurhalte- und Notbremsassistenten, Abstandstempomaten u.v.m. Gemeinsam ist diesen Systemen, dass sie auf die präzise Erfassung des Fahrzeugumfelds durch Sensoren angewiesen sind. Die Evaluierung dieser Steuergeräte findet häufig mittels HIL- oder SIL-Test in einem offenen (Open-Loop) oder geschlossenen (Closed-Loop) System statt. In beiden Fällen wird die Umgebung des oder der zu testenden Steuergeräte durch eine Simulation abgebildet, eventuell vorhandene Sensoren werden bis zu einem gewissen Punkt der Wirkkette ebenfalls simuliert. Die Simulation findet auf einem Rechnersystem statt, dass je nach Anwendungsfall mit Recheneinheiten und echtzeitfähigen Betriebssystemen ausgestattet ist, oder auch über leistungsfähige GPUs und FPGAs verfügen kann. Bei diesem Rechnersystem spricht man in der Regel und im Folgenden von einem Simulator.Methods and devices of this type are known in the field of development and safeguarding safety-critical control devices, such as those performed by automotive suppliers. This also applies to the subgroup of ECUs used for driver assistance systems. Such devices are used in parking aids, Lane Keeping and Emergency Brake Assist, Abstandstempomaten u.v.m. What these systems have in common is that they depend on the precise detection of the vehicle environment by sensors. The evaluation of these ECUs often takes place using an HIL or SIL test in an open (open loop) or closed (closed loop) system. In both cases, the environment of the control unit (s) to be tested is mapped by a simulation, possibly existing sensors are also simulated up to a certain point of the action chain. The simulation takes place on a computer system that, depending on the application, is equipped with computing units and real-time operating systems, or can also have powerful GPUs and FPGAs. In this computer system, one speaks generally and in the following of a simulator.

In der offenen Variante wird entweder ein Prototyp des Steuergeräts - also ein real vorhandenes Steuergerät - oder ein simuliertes Steuergerät über eine geeignete Schnittstelle mit den durch die Simulation künstlich erzeugten Sensordaten stimuliert und überprüft, ob die Ausgabe des Steuergeräts bzw. des zu testenden Algorithmus auf dem simulierten Steuergerät den Erwartungen entspricht. In der geschlossenen Variante wird der Wirkungskreis über das Steuergerät geschlossen, d.h. die Ausgabe des zu testenden Steuergeräts wird wieder an den Simulator zurück gespielt und kann dort den Zustand der Simulation beeinflussen. Eventuell verlangt das zu testende Steuergerät Ausgabedaten weiterer, zum Testzeitpunkt nicht verfügbarer Steuergeräte zurück. Diese können dann durch eine Restbussimulation eingebunden werden. Ziel eines solchen Closed-Loop-Systems ist, dem zu testenden Steuergerät den Eindruck zu verschaffen, es wäre in ein echtes Fahrzeug verbaut und in der realen Umgebung unterwegs und das Zusammenspiel der verschiedenen Komponenten zu evaluieren.In the open variant, either a prototype of the control unit - that is, a real existing control unit - or a simulated control unit stimulated via a suitable interface with the artificially generated by the simulation sensor data and checks whether the output of the controller or the algorithm to be tested on the simulated control unit meets expectations. In the closed version, the circuit is closed via the control unit, i. the output of the ECU to be tested is played back to the simulator and can influence the state of the simulation there. The ECU under test may require output data from other controllers not available at the time of the test. These can then be integrated by a residual bus simulation. The aim of such a closed-loop system is to give the control unit to be tested the impression that it would be installed in a real vehicle and traveling in the real environment and to evaluate the interplay of the various components.

In manchen Fällen ist vorgesehen, dass die Simulation gewisse Echtzeitbedingungen erfüllt. Dies ist erforderlich, weil das Steuergerät an seinem Bestimmungsort - im Fahrzeug - in Interaktion mit der Umwelt steht und auf diese reagieren muss. Der Simulator muss daher die durch die Simulation errechneten Ausgabedaten in Reaktion auf die Eingabedaten des Steuergeräts innerhalb eines festgelegten Zeitintervalls - häufig im einstelligen Millisekunden Bereich - liefern.In some cases, the simulation is expected to meet certain real-time conditions. This is necessary because the ECU at its destination - in the vehicle - is interacting with the environment and needs to respond to it. The simulator must therefore provide the output calculated by the simulation in response to the input data of the controller within a specified time interval, often in the single-digit millisecond range.

Da die Anforderungen an Fahrerassistenzsysteme in jüngerer Vergangenheit gestiegen sind und weiter steigen werden, steigen auch die Anforderungen an Test- und Entwicklungsverfahren zur Evaluierung solcher Systeme. Da solche Fahrerassistenzsysteme einen großen Bedarf an Sensordaten haben, stellen sich für die Testsysteme neue Herausforderungen dar.As the demands on driver assistance systems have risen in the recent past and will continue to increase, the demands on test and development methods for evaluating such systems also increase. Since such driver assistance systems have a great need for sensor data, the test systems pose new challenges.

Im Bereich der Fahrerassistenzsysteme verwendete Sensoren sind häufig nach einem aktiven Prinzip arbeitende Sensoren - im Weiteren werden diese Art Sensoren aktive Umgebungssensoren genannt. Darunter werden in diesem Zusammenhang Sensoren verstanden, die durch Aussendung von elektromagnetischen Wellen, bspw. im Sichtbaren, Infrarot, UV- oder Radiofrequenzbereich, oder durch Aussendung von Ultraschallwellen, ihre Umgebung abtasten, welche an Objekten in der Umwelt des Sensors reflektiert werden, und die registrierten reflektierten Signale analysieren. Beispiele für solche Sensoren sind Radar-, Lidar-, Flash-Lidar- oder Ultraschallsensoren sowie Time-of-Flight-Kameras. Letztere werden häufig auch 3D-Kameras genannt. Allen diesen Techniken ist gemeinsam, dass die an den Umweltobjekten reflektierten bzw. gestreuten Signale Informationen über Entfernung der Objekte zum Sensor bzw. zum Fahrzeug enthalten, oder auch über die Relativgeschwindigkeit des Objekts zum Fahrzeug. Die Analyse der reflektierten Signale wird durch das Steuergerät, welches den Sensor betreibt, durchgeführt und ggfs. basierend auf den erhaltenen Daten Signale an weitere im Fahrzeug enthaltene Steuergeräte weitergegeben. Würde zum Beispiel ein als Fußgänger erkanntes Objekt mit einer gewissen Relativgeschwindigkeit vor den Sensor laufen, könnte das Sensorsteuergerät eine Notbremsung veranlassen, in dem es einen entsprechenden Befehl an das Bremssteuergerät sendet.Sensors used in the field of driver assistance systems are often sensors operating according to an active principle - these types of sensors are also called active environmental sensors. This is understood in this context sensors that scan by emitting electromagnetic waves, for example. In the visible, infrared, UV or radio frequency range, or by emitting ultrasonic waves, their environment, which are reflected on objects in the environment of the sensor, and analyze registered reflected signals. Examples of such sensors are radar, lidar, flash lidar or ultrasonic sensors and time-of-flight cameras. The latter are often called 3D cameras. All these techniques have in common that the signals reflected or scattered on the environmental objects contain information about the distance of the objects to the sensor or the vehicle, or about the relative speed of the object to the vehicle. The analysis of the reflected signals is carried out by the control unit which operates the sensor and, if appropriate, based on the data obtained, signals are passed on to further control units contained in the vehicle. If, for example, an object recognized as a pedestrian would run in front of the sensor at a certain relative speed, the sensor control unit could initiate emergency braking in which it sends a corresponding command to the brake control unit.

Um solche Sensorsysteme im HIL- oder SIL-Test zu testen, ohne den Sensor in die echte Umweltumgebung zu bringen wird die Umwelt durch eine Simulation ersetzt und dem Steuergerät vorgetäuscht, es detektiere Signale von dieser simulierten Umwelt. Diese Daten müssen so aufbereitet werden, dass sie in die interne Datenverarbeitung des Steuergeräts eingespeist werden können, hier ist bei diesen eingespeisten Daten die Rede von Sensordaten. Die Simulation berechnet in der Regel mehrdimensionale Daten und oft muss, beispielsweise im HIL-Fall, Echtzeitfähigkeit sichergestellt werden, daher ist die Berechnung der Sensordaten entsprechend rechenintensiv. Eine detailgetreue Abbildung der simulierten Umweltumgebung und Generierung von realitätsnahen Sensordaten basierend auf der simulierten Umweltumgebung ist mit den verfügbaren Recheneinheiten oft gar nicht möglich. Aus diesem Grund ist es erstrebenswert, die Komplexität der Berechnung mittels eines geeigneten Verfahrens zu reduzieren.In order to test such sensor systems in the HIL or SIL test without bringing the sensor into the real environmental environment, the environment is replaced by a simulation and the control unit pretended to detect signals from this simulated environment. These data must be prepared in such a way that they can be fed into the internal data processing of the controller, here is at this fed data talk of sensor data. The simulation usually calculates multi-dimensional data and often, for example in the HIL case, real-time capability must be ensured, so calculating the sensor data is correspondingly computationally intensive. A detailed representation of the simulated environmental environment and generation of realistic sensor data based on the simulated environmental environment is often not possible with the available computing units. For this reason, it is desirable to reduce the complexity of the calculation by a suitable method.

Im Stand der Technik bekannte Ansätze zur Reduktion der Komplexität basieren darauf, die in der simulierten Umweltumgebung vorhandenen Objekte, zum Beispiel virtuelle Repräsentationen von Autos, auf wenige Streuzentren zu reduzieren und damit die Berechnungszeit für die Simulation zu verkürzen. Bei dieser Vorgehensweise stellt sich das Problem, dass die Simulation dann nicht detailgetreu ist und die Qualität des Tests sinkt. Diese Abstriche an der Testqualität sind bei sicherheitskritischen Sensoren nicht erwünscht.Prior-art approaches to reducing complexity are based on reducing the objects present in the simulated environmental environment, for example virtual representations of cars, to a few scattering centers and thus shortening the calculation time for the simulation. With this approach, the problem arises that the simulation is then not true to detail and the quality of the test decreases. These compromises on the test quality are not desirable for safety-critical sensors.

Aufgabe der vorliegenden Erfindung ist daher, den Stand der Technik weiterzubilden.Object of the present invention is therefore to develop the prior art.

Die Aufgabe wird gelöst durch die unabhängigen Patentansprüche, das computer-implementierte Verfahren zur Erzeugung von Sensordaten im Patentanspruch 1 sowie durch die Vorrichtung zum Echtzeittesten eines Steuergeräts in Patentanspruch 11.The object is achieved by the independent patent claims, the computer-implemented method for generating sensor data in claim 1 and by the device for real-time testing of a control device in claim 11.

Insbesondere wird die Aufgabe gelöst durch ein computer-implementiertes Verfahren zur Erzeugung von Sensordaten zur Einspeisung in ein mittels HIL oder SIL-Test zu testenden Steuergeräts für aktive Umgebungssensoren, insbesondere automotive aktive Umgebungssensoren, ausgeführt mittels wenigstens einer elektronischen Recheneinheit (RT-PC), welches folgende Schritte umfasst: Einlesen eines 3D-Modells (3D-MOD), wobei das 3D-Modell eine Vielzahl Modellobjekte (OBJ) enthält, wobei das 3D-Modell eine zum Testen des Umgebungssensors definierte Umgebungsszene mit einer Vielzahl Umgebungsobjekten abbildet; Aussenden wenigstens eines Abtaststrahls in einem Sendewinkel in den Sichtbereich des Umgebungssensors (SEN); dadurch gekennzeichnet, dass das Verfahren weiterhin folgende Schritte umfasst: Generierung eines Kanalmodells (RAD-MOD), wobei das Generieren durch Verknüpfen von wenigstens einer Rückstreufunktion mit wenigstens einem Modellobjekt, wobei die Rückstreufunktion die Rückstreucharakteristik des simulierten Umgebungsobjekts abbildet; Verfolgung des Abtaststrahls durch das Kanalmodell, wobei die Abtaststrahlen mit den Modellobjekten entsprechend der verknüpften Rückstreufunktion wechselwirken, Detektion von Abtaststrahlen, die zurück zum Umgebungssensor reflektiert werden; Generierung einer Pfadliste, die die Pfade der zurück zum Umgebungssensor reflektierten Abtaststrahlen enthält, Generierung von Sensordaten (DAT) zur Einspeisung in das zu testende Steuergerät aus der generierten Pfadliste. In particular, the object is achieved by a computer-implemented method for generating sensor data for feeding into an HIL or SIL test to be tested control device for active environmental sensors, in particular automotive active environment sensors, implemented by at least one electronic processing unit (RT-PC), which comprising the steps of: reading a 3D model (3D-MOD), wherein the 3D model includes a plurality of model objects (OBJ), the 3D model mapping an environmental scene defined to test the environmental sensor with a plurality of environmental objects; Emitting at least one scanning beam at a transmission angle into the field of view of the environmental sensor (SEN); characterized in that the method further comprises the steps of: generating a channel model (RAD-MOD), the generating by linking at least one backscatter function to at least one model object, the backscatter function mapping the backscatter characteristic of the simulated environmental object; Tracking the scanning beam through the channel model, the scanning beams interacting with the model objects in accordance with the associated backscatter function, detecting scanning beams that are reflected back to the environmental sensor; Generation of a path list which contains the paths of the scanning beams reflected back to the environmental sensor, generation of sensor data (DAT) for feeding into the control unit to be tested from the generated path list.

Die Aufgabe wird weiterhin gelöst durch eine Vorrichtung zum Echtzeittesten eines Steuergeräts für radarbasierte Umgebungssensoren, umfassend eine elektronische Recheneinheit mit einem Speicher, und mit einer ersten Schnittstelle, und einer zweiten Schnittstelle, wobei die erste Schnittstelle als Eingangsschnittstelle eingerichtet ist, ein 3D-Modell einzulesen, wobei das 3D-Modell eine Vielzahl Modellobjekte (OBJ) enthält, wobei das 3D-Modell eine zum Testen des Umgebungssensors definierte Umgebungsszene mit einer Vielzahl Umgebungsobjekten abbildet; und wobei die zweite Schnittstelle eingerichtet ist, Sensordaten auszugeben, dadurch gekennzeichnet, dass die elektronische Recheneinheit dazu eingerichtet/programmiert ist, folgende Schritte auszuführen: aus einem eingelesenen 3D-Modell ein Kanal-Modell zu erzeugen, und dazu das 3D-Modell mit Rückstreufunktionen zu verknüpfen, wobei die Rückstreufunktionen die Rückstreucharakteristik des simulierten Umgebungsobjekts abbildet; Verfolgung des Abtaststrahls durch das Kanalmodell, wobei die Abtaststrahlen mit den Modellobjekten entsprechend der verknüpften Rückstreufunktion wechselwirken; Detektion von Abtaststrahlen, die zurück zum Umgebungssensor (SEN) reflektiert werden; Generierung einer Pfadliste, die die Pfade der zurück zum Umgebungssensor reflektierten Abtaststrahlen enthält; und Generierung von Sensordaten (DAT) zur Einspeisung in das zu testende Steuergerät aus der generierten Pfadliste.The object is further achieved by a device for real-time testing of a control device for radar-based environmental sensors, comprising an electronic computing unit with a memory, and having a first interface, and a second interface, wherein the first interface is configured as an input interface to read in a 3D model, wherein the 3D model includes a plurality of model objects (OBJ), the 3D model mapping an environmental scene defined to test the environmental sensor with a plurality of environmental objects; and wherein the second interface is arranged to output sensor data, characterized in that the electronic processing unit is configured / programmed to carry out the following steps: to generate a channel model from an imported 3D model and to do so with the 3D model with backscatter functions the backscatter functions mapping the backscatter characteristic of the simulated environment object; Tracking the scanning beam through the channel model, the scanning beams interacting with the model objects according to the associated backscatter function; Detection of scanning beams reflected back to the environmental sensor (SEN); Generating a path list containing the paths of the scanning rays reflected back to the environmental sensor; and generating sensor data (DAT) for feeding into the controller to be tested from the generated path list.

Die Umgebungssensoren können dabei beispielsweise Radar-, Lidar-, Flash-Lidar-, (TOF)-Kameras oder Ultraschallsensoren sein. Alle diese Sensoren sind in ihrer Funktionsweise wohlbekannt, und Details zur Funktionsweise können der einschlägigen Fachliteratur entnommen werden. So sind Radarsensoren mit Sende- und Empfangsantennen ausgestattet und senden elektromagnetische Wellen in den Sichtbereich des Sensors, wo sie an Umgebungsobjekten reflektiert bzw. gestreut werden. Dabei können verschiedene Modulationstechniken angewendet werden, um die Auswertbarkeit der reflektierten Wellen abhängig vom Anwendungsfall zu optimieren. Im automotiven Bereich sind sogenannte „Frequency modulated Continous Wave“-Verfahren üblich, was auf Deutsch Dauerstrichradar genannt wird, oder andere Modulationsverfahren. Die so modulierten und an Umgebungsobjekten gestreuten Wellen können vom Radarsensor empfangen werden, und die interne Datenverarbeitung des angeschlossenen Steuergeräts ist in der Lage, basierend auf Einfallswinkel, Laufzeit und Dopplerfrequenz auf Abstand, Azimutwinkel, Elevation und Relativgeschwindigkeit der Umgebungsobjekte zu schließen. Bei dem Weg der elektromagnetischen Welle durch die Umgebung kann kommt außer zu einfachen Rückstreuereignissen zu Reflexionen nach dem Reflexionsgesetz und zu MehrfachReflexionen an Oberflächen und Ebenen, zum Beispiel Kühlerhauben oder dem Asphalt der Straße. Diese können durch einfache Rückstreufunktionen beschrieben werden. Zum Beispiel haben Messungen ergeben, dass verwinkelte Strukturen wie Radkästen unabhängig vom Einfallswinkel zur Empfangsantenne des Sensors - mit geringer Intensitätzurückreflektiert werden. Einfache Oberflächen erzeugen abhängig vom Einfallswinkel der elektromagnetischen Wellenfront ein Sensorsignal. Ist das Umgebungsobjekt komplexer strukturiert und hat eine interne Dynamik, wie zum Beispiel ein Fußgänger mit schwingenden Armen oder Blätter an einem Straßenbaum, hat das gestreute und von der Empfangsantenne empfangene Signal eine charakteristische Signatur, die auf Effekte wie den Mikrodopplereffekt zurückgehen. Dieser Effekt kommt zustande, wenn Teile eines einzelnen Objekts unterschiedliche Relativgeschwindigkeiten aufweisen. Bei Objekten, die eine Mikrodoppler-Charakteristik aufweisen, kann man eine deterministische Rückstreufunktion verwenden. Vegetative Objekte wie Bäume und Sträucher kann durch eine stochastische Rückstreufunktion abgebildet werden.The environmental sensors can be, for example, radar, lidar, flash lidar, (TOF) cameras or ultrasound sensors. All of these sensors are well known in their operation, and details of the operation can be found in the relevant literature. Radar sensors are equipped with transmit and receive antennas and send electromagnetic waves into the field of view of the sensor, where they are reflected or scattered by surrounding objects. Various modulation techniques can be used to optimize the readability of the reflected waves depending on the application. In the automotive sector, so-called "Frequency Modulated Continous Wave" methods are common, which is called continuous wave radar in German, or other modulation methods. The waves thus modulated and scattered on surrounding objects can be received by the radar sensor, and The internal data processing of the connected control unit is able to determine the distance, azimuth angle, elevation and relative speed of the surrounding objects based on the angle of incidence, transit time and Doppler frequency. In addition to simple backscattering events, the path of the electromagnetic wave through the environment can lead to reflections according to the law of reflection and to multiple reflections on surfaces and planes, for example radiator hoods or the asphalt of the road. These can be described by simple backscatter functions. For example, measurements have shown that angled structures such as wheel arches are reflected back to the receiving antenna of the sensor, at low intensity, regardless of the angle of incidence. Simple surfaces generate a sensor signal depending on the angle of incidence of the electromagnetic wavefront. If the environment object is more complex in structure and has internal dynamics, such as a pedestrian with swinging arms or leaves on a street tree, the signal scattered and received by the receiving antenna will have a characteristic signature due to effects such as the microdoppler effect. This effect occurs when parts of a single object have different relative velocities. For objects that have a microdoppler characteristic, one can use a deterministic backscatter function. Vegetative objects such as trees and shrubs can be imaged by a stochastic backscatter function.

Der Kern der Erfindung ist die Generierung eines Kanalmodells, welches die gewünschte Testszene einerseits realitätsnah abbildet und andererseits schnell berechenbar ist um Echtzeitanforderungen oder sonstigen Anforderungen an die Rechengeschwindigkeit gerecht zu werden.The core of the invention is the generation of a channel model, which realistically maps the desired test scene on the one hand and on the other hand can be calculated quickly to meet real-time requirements or other demands on the computing speed.

Dafür wird ein 3D-Modell der gewünschten Szenerie erstellt. Das 3D-Modell enthält die simulierten Repräsentationen für die abzubildenden Umgebungsobjekte - im Weiteren Modellobjekte genannt - und für jedes Modellobjekt Zustandsdaten. Diese können beispielsweise in Form von Datenvektoren vorliegen und Position, Rotation, Geschwindigkeit, u.v.m. des betreffenden Modellobjekts enthalten. Das 3D-Modell wird auf einer elektronischen Recheneinheit berechnet, auch Simulator genannt. Das kann beispielsweise mittels eines speziellen Echtzeit-Betriebssystems oder ein Standard-Betriebssystem wie Windows oder UNIX-basierte Betriebssysteme sein. Ein geeignetes Datenformat für das 3D-Modell kann ein XML-basiertes Format sein. Die XML-Datei definiert die abgebildete Szene, sie enthält alle Modellobjekte (Fahrzeuge, Fußgänger, Leitplanken, Bäume, ...) in der Szenerie mit Position, Rotation, Skalierung und Referenz auf eine 3D-Darstellung des betreffenden Modellobjekts, die beispielsweise im COLLADA-Format vorliegen kann. Das 3D-Modell wird durch den Simulator periodisch aktualisiert und zur Weiterverarbeitung zur Verfügung gestellt. Dies kann unter anderem eine visuelle Darstellung durch Erzeugung eines Bildes durch eine GPU (Graphical Processing Unit) sein.For this, a 3D model of the desired scenery is created. The 3D model contains the simulated representations for the surrounding environment objects - hereafter called model objects - and state data for each model object. These may be in the form of data vectors, for example, and position, rotation, velocity, etc. of the model object concerned. The 3D model is calculated on an electronic computing unit, also called a simulator. This can be, for example, using a special real-time operating system or a standard operating system such as Windows or UNIX-based operating systems. A suitable data format for the 3D model may be an XML-based format. The XML file defines the pictured scene, it contains all the model objects (vehicles, pedestrians, guardrails, trees, ...) in the scenery with position, rotation, scaling and reference to a 3D representation of the relevant model object, for example in COLLADA Format can be present. The 3D model is periodically updated by the simulator and made available for further processing. This can be, inter alia, a visual representation by generating an image by a GPU (Graphical Processing Unit).

Damit aus dem 3D-Modell ein Kanalmodell wird, das die Kanal-Impuls-Antwort für den zu testenden Umgebungssensors liefert, muss die Rückstreucharakteristik der gesamten simulierten Umgebungsszene in das Modell integriert werden. Dafür werden für die Modellobjekte, die im 3D-Modell enthalten sind, charakteristische Rückstreufunktionen ausgewählt und an den Modellobjekten hinterlegt. Dies geschieht durch Verknüpfen der Rückstreufunktion mit der Texturkarte des 3D-Modells, die in anderen Anwendungen auch für die Darstellung von Farbe und Oberflächenbeschaffenheit genutzt werden kann. Nun liegt für jedes Modellobjekt eine passende Rückstreufunktion vor. Diese wird weiter verarbeitet, indem ein simulierter Abtaststrahl das so generierte Kanalmodell abtastet und Reflexion bzw. Rückstreuung des Strahls an den Modellobjekten jeweils gemäß der hinterlegten Rückstreufunktion durchführen kann. Die zurück zum Umgebungssensor gestreuten Anteile des Abtaststrahls werden zur Generierung der Sensordaten verwendet. Dazu wird eine Liste der Abtaststrahlen erzeugt, vorbei diese die Amplitude, und/oder die Dopplerfrequenz, und/oder die Pfadlänge, und/oder den Sende-/Empfangswinkel des Abtaststrahls und/oder eine Auflistung der Interaktionspunkte des Abtaststrahls mit den Modellobjekten enthalten kann. Die Pfade in der Pfadliste sind also genau die Rückstreuungen, die ein Signal auf dem Umgebungssensor erzeugen, und sie enthalten genau die Informationen die der Umgebungssensor zur Positions- und Relativgeschwindigkeitsbestimmung der Umgebungsobjekte benötigt. Daraus und aus Informationen über das gesendete Signal können also digitale Sensordaten errechnet werden, die zur Einspeisung in die Signalverarbeitung des Umgebungssensors geeignet sind.In order for the 3D model to become a channel model that provides the channel impulse response for the environmental sensor under test, the backscatter characteristic of the entire simulated environmental scene must be integrated into the model. For the model objects contained in the 3D model, characteristic backscatter functions are selected and stored on the model objects. This is done by linking the backscatter function to the texture map of the 3D model, which can also be used in other applications to represent color and texture. Now there is a suitable backscatter function for each model object. This is further processed by a simulated scanning beam scans the channel model thus generated and can perform reflection or backscattering of the beam on the model objects in each case according to the deposited backscatter function. The scattered back to the environmental sensor portions of the scanning are used to generate the sensor data. For this purpose, a list of the scanning beams is generated, which may include the amplitude, and / or the Doppler frequency, and / or the path length, and / or the transmission / reception angle of the scanning beam and / or a list of the interaction points of the scanning beam with the model objects. The paths in the path list are thus exactly the backscatters that generate a signal on the environmental sensor, and they contain exactly the information that the environment sensor for position and relative velocity determination of the surrounding objects needs. From this and from information about the transmitted signal, it is thus possible to calculate digital sensor data which are suitable for feeding into the signal processing of the environmental sensor.

Der Vorteil dieses Vorgehens ist, dass auch Mehrfach-Reflexionen betrachtet werden können. Außerdem ist die Simulation detailliert und realitätsnah, kann aber auch mit kurzen Rechenzeiten bewältigt werden. So kann mit diesem Simulationsverfahren zum Beispiel auch Echtzeitfähigkeit erzeugt werden.The advantage of this approach is that even multiple reflections can be considered. In addition, the simulation is detailed and close to reality, but can also be handled with short computation times. For example, real-time capability can also be generated with this simulation method.

In einer bevorzugten Ausführungsform sieht die Erfindung vor, dass der Sichtbereich des Sensors fächerartig durch den Abtaststrahl abgedeckt wird. Dies hat den Vorteil, dass die gesamte simulierte Szene durch den Abtaststrahl erfasst wird. Zudem entspricht dieses Vorgehen der Funktionsweise von vielen echten Umgebungssensoren, zum Beispiel RadarSensoren oder Lidar-Sensoren. Arbeitet der Umgebungssensor nicht nach einem Abtastprinzip, zum Beispiel Flash-Lidar-Sensoren, kann die Simulation aber dennoch auf diese Weise durchgeführt werden. Wichtig ist nur, dass pro Simulationsschritt eine aktualisierte Version des der Kanal-Impulsantwort erzeugt wird.In a preferred embodiment, the invention provides that the viewing region of the sensor is fan-shaped covered by the scanning beam. This has the advantage that the entire simulated scene is detected by the scanning beam. In addition, this procedure corresponds to the functioning of many real environmental sensors, for example radar sensors or lidar sensors. Is working However, if the environmental sensor is not based on a scanning principle, for example flash lidar sensors, the simulation can nevertheless be carried out in this way. It is only important that an updated version of the channel impulse response is generated per simulation step.

In einer weiteren Ausführungsform ist vorgesehen, dass die Rückstreufunktion deterministisch oder stochastisch ist. Ein Beispiel für eine stochastische Rückstreufunktion ist die Simulation von Vegetation, beispielsweise Bäumen oder Sträuchern. Für die Abbildung solcher komplexer Objekte liefert die Erfindung eine einfache Möglichkeit, die Kanal-Impuls-Antwort zu erzeugen, indem das abzubildende Objekt durch eine einfache Hülle modelliert wird, wie sie aus dem 3D-Objekt bereits vorliegt und durch die Erfindung mit einer stochastischen Rückstreufunktion verknüpft wird, die dem Umgebungssensor den Anschein gibt, der Abtaststrahl wäre an einer Laubkrone oder ähnlichem reflektiert worden. Ein Beispiel für eine deterministische Funktion ist die Abbildung eines Fußgängers. Ein echter Fußgänger würde den Abtaststrahl entsprechenden seiner Relativgeschwindigkeit und -Position zurückstreuen, und außerdem würde eine charakteristische Mikro-Doppler-Signatur in den rückgestreuten Signalen zu erkennen sein, die durch die Arm- und/oder Beinbewegung zustande kommt. Im Kanalmodell kann der Fußgänger also so abgebildet werden, dass wieder mit einer einfachen Form aus dem 3D-Modell mit einem Ausrichtungsvektor, die den Fußgänger mit einer bestimmten Orientierung abbildet, bspw. einer Zylinderform gestartet wird und auf diesem 3D-Modell des Fußgängers eine Rückstreufunktion hinterlegt wird, die die gewünschte Antwort liefert. Das kann in diesem Beispiel eine Parametrierung anhand von Größe, Breite, Schrittfrequenz mit zugehörigen Anfangswerten sein und der Zuordnung einer charakteristischen Rückstreufunktion mit Mikro-Doppler-Charakteristik, die abhängig von den festgelegten Parametern und vom Einfallswinkel ist.In a further embodiment it is provided that the backscatter function is deterministic or stochastic. An example of a stochastic backscatter function is the simulation of vegetation, such as trees or shrubs. For the imaging of such complex objects, the invention provides an easy way of generating the channel impulse response by modeling the object to be imaged by a simple envelope already present in the 3D object and by the invention with a stochastic backscatter function is linked, which gives the environmental sensor the appearance that the scanning beam would have been reflected on a deciduous crown or the like. An example of a deterministic function is the image of a pedestrian. A true pedestrian would backscatter the scan beam to its relative velocity and position, and, moreover, a characteristic micro-Doppler signature would be seen in the backscattered signals resulting from the arm and / or leg movement. In the channel model, the pedestrian can thus be imaged so that, for example, a cylindrical shape is started again with a simple shape from the 3D model with an orientation vector that images the pedestrian with a specific orientation and a backscatter function on this 3D model of the pedestrian is deposited, which provides the desired answer. In this example, this can be a parameterization based on size, width, step frequency with associated initial values and the assignment of a characteristic backscatter function with micro-Doppler characteristic which is dependent on the specified parameters and on the angle of incidence.

In einer weiteren Ausführungsform ist vorgesehen, dass die Rückstreufunktion eine Reflexion des Abtaststrahls an dem Modellobjekt mit dem er wechselwirkt abhängig vom Einfallswinkel bewirkt. Diesem Vorgehen liegt die Erkenntnis zugrunde, dass die Reflexion des Abtaststrahls bspw. eines Radarsensors oder eines anderen Umgebungssensors an Umgebungsobjekten gemäß des Reflexionsgesetzes abgebildet werden kann, wenn das Umgebungsobjekt einfache und glatte Oberflächen besitzt.In a further embodiment, it is provided that the backscatter function effects a reflection of the scanning beam on the model object with which it interacts depending on the angle of incidence. This approach is based on the finding that the reflection of the scanning beam, for example of a radar sensor or another environmental sensor, can be imaged onto surrounding objects in accordance with the law of reflection if the surrounding object has simple and smooth surfaces.

In einer weiteren Ausführungsform ist vorgesehen, dass die Rückstreufunktion eine Reflexion des Abtaststrahls an dem Modellobjekt mit dem er wechselwirkt unabhängig vom Einfallswinkel bewirkt. Diesem Vorgehen liegt die Erkenntnis zugrunde, dass Reflexion des Abtaststrahls eines Radarsensors oder eines anderen Umgebungssensors an Umgebungsobjekten nicht mehr vom Einfallswinkel abhängt, wenn nach innen verwinkelte Strukturen vorliegen, weil der Abtaststrahl innerhalb der Struktur mehrfach reflektiert wird und auf diese Weise unabhängig vom Blickwinkel ein Signal erzeugt.In a further embodiment, it is provided that the backscatter function effects a reflection of the scanning beam on the model object with which it interacts independently of the angle of incidence. This approach is based on the knowledge that reflection of the scanning beam of a radar sensor or other environmental sensor on surrounding objects no longer depends on the angle of incidence, if inwardly bent structures are present because the scanning beam is reflected multiple times within the structure and in this way, regardless of the viewing angle, a signal generated.

In einer weiteren Ausführungsform ist vorgesehen, dass die Verfolgung des Abtaststrahls durch das Kanalmodell nach einer festgelegten Anzahl an Reflexionen, oder Unterschreiten einer bestimmten Schwelle der reflektierten Amplitude, abgebrochen wird. Dies hat den Vorteil, dass die Rechenzeit der Simulation begrenzt wird. Dies ist möglich weil bei Betrachtung von weiteren Reflexionen aufgrund der dann schon reduzierten reflektierten Amplitude sowieso keine beträchtliche Rückstreuung auf den Umgebungssensors mehr zu erwarten ist. Die Festlegung der Schwelle kann anhand der Komplexität des Gesamtmodells entschieden werden. Hier muss ein Abwägen zwischen gewünschtem Detailgrad der Simulation und Rechenkapazität durchgeführt werden.In a further embodiment it is provided that the tracking of the scanning beam through the channel model is stopped after a defined number of reflections, or falling below a certain threshold of the reflected amplitude. This has the advantage that the calculation time of the simulation is limited. This is possible because in consideration of further reflections due to the then already reduced reflected amplitude anyway no significant backscatter on the environmental sensor is expected more. The determination of the threshold can be decided based on the complexity of the overall model. Here, a balance must be made between the desired level of detail of the simulation and the computing capacity.

In einer weiteren Ausführungsform ist vorgesehen, dass das Verfahren einen zusätzlichen Schritt zur Generierung einer zweidimensionalen Abbildung des Kanalmodells aus der Perspektive des zu testenden Umgebungssensors umfasst, wobei die zweidimensionale Abbildung eine graphische Darstellung der durch das Kanalmodell berechneten und zurück zum Umgebungssensor reflektierten Abtaststrahlen umfasst. Dies hat den Vorteil, dass vor tatsächlichem Durchführen der Simulation mit Erzeugung von Sensordaten und Einspeisung in den Umgebungssensor eine Überprüfung der Ergebnisse, die das Kanalmodell liefern wird, stattfinden kann.In a further embodiment, it is provided that the method comprises an additional step for generating a two-dimensional image of the channel model from the perspective of the environmental sensor to be tested, wherein the two-dimensional image comprises a graphical representation of the scanning beams calculated by the channel model and reflected back to the environmental sensor. This has the advantage that, prior to actually performing the simulation with generation of sensor data and feed into the environmental sensor, a review of the results that the channel model will provide can take place.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnungen näher erläutert. Hierbei werden gleichartige Teile mit identischen Bezeichnungen beschriftet. Die dargestellten Ausführungsformen sind stark schematisiert, d.h. die Abstände und die lateralen und die vertikalen Erstreckungen sind nicht maßstäblich und weisen, sofern nicht anders angegeben auch keine ableitbare geometrische Relationen zueinander auf.The invention will be explained in more detail with reference to the drawings. Here similar parts are labeled with identical names. The illustrated embodiments are highly schematic, i. the distances and the lateral and vertical extensions are not to scale and, unless stated otherwise, have no derivable geometrical relations to one another.

Darin zeigt:

  • 1 Eine schematische Darstellung einer erfindungsgemäßen Ausführungsform
  • 2 Eine schematische Darstellung einer erfindungsgemäßen Ausführungsform eines 3D-Modells
  • 3 Eine schematische Darstellung eines Kanalmodells basierend auf einem 3D-Modell
It shows:
  • 1 A schematic representation of an embodiment according to the invention
  • 2 A schematic representation of an embodiment of a 3D model according to the invention
  • 3 A schematic representation of a channel model based on a 3D model

1 zeigt ein Beispiel für ein zu testendes Sensorsystem, umfassend eine Sendeeinheit TX und zwei Empfangseinheiten RX, eine Messdatenaufbereitungseinheit ECU_WAV und Signalverarbeitungseinheiten S1, S2 und S3. Das Sensorsystem ist in diesem Beispiel ein Radarsensor mit Steuergerät, welches die Messdatenaufbereitungseinheit und die Signalverarbeitungseinheiten umfasst, und tastet seine Umwelt durch Aussenden von Abtaststrahlen ausgehend vom Sensor SEN mittels einer Sendeeinheit TX ab. Die Abtaststrahlen werden an Umgebungsobjekten gestreut und zurück zum Sensor geworfen, wo sie durch die Empfangseinheiten RX registriert werden. Hier sind beispielhaft zwei Empfangseinheiten gezeigt, allerdings können auch mehr oder weniger Empfangseinheiten vorgesehen sein. Die durch die Empfangseinheit RX registrierten Messdaten werden dann durch die Messdatenaufbereitungseinheit ECU_WAV aufbereitet, wozu je nach zu testendem Sensorsystem Demodulation und/oder Digitalisierung zählen. Die digitalisierten Daten werden in Schritt S1 mittels geeigneter Methoden spektral analysiert, bspw. durch (Fast) Fourier Transformation. Aus diesen Daten DAT wird nun für jedes gemessene Signal festgestellt, in welcher Distanz und in welchem azimutalen Winkel sich das betreffende Objekt befindet, und welche Relativgeschwindigkeit es hat. Zusätzlich kann auch ein Elevationswinkel bestimmt werden, also in welcher Höhe sich das Umgebungsobjekt befindet. Weitere Verarbeitungsschritte können beispielsweise ein Tracking dieser festgestellten Werte über einen gewissen Zeitraum sein, sodass sichergestellt ist, dass die Werte tatsächlich durch ein physikalisch vorhandenes Umgebungsobjekt verursacht wurden (Schritt S2), oder eine Objektklassifizierung (Schritt S3), bei dem aus den gemessenen und getrackten Werten erkannt wird, welcher Objekttypus, also Auto, Fußgänger, Gebäude, oder ..., die Messwerte verursacht hat. In 1 gestrichelt dargestellt ist der durch die Simulation abgedeckte Teil des Systems. In diesem Beispiel werden die physikalische im Sensorsystem vorhandenen Sende- und Empfangseinheiten durch eine Simulation ersetzt. Das Ergebnis der Simulation ist die Erzeugung von Sensordaten DAT, die vor Schritt S1 in die Signalverarbeitungseinheit des Sensorsystems eingespeist werden kann und die dem Steuergerät vermitteln, es sähe eine bestimmte, virtuell erzeugte Umgebungsszene. Um die passenden rückgestreuten Signale zu erzeugen wird ein dreidimensionales Modell dieser Umgebungsszene erstellt und mit Rückstreufunktionen verknüpft, um ein Kanalmodell RAD-MOD zu erhalten, das die erwarteten Messdaten erzeugt. Das Kanalmodell enthält Modellobjekte OBJ und die verknüpften Rückstreufunktionen (nicht in 1 dargestellt), so dass auf das Abtasten mittels des Abtaststrahls hin eine realistische Kanal-Impuls-Antwort als Simulationsergebnis vorliegt. 1 shows an example of a sensor system to be tested, comprising a transmitting unit TX and two receiving units RX , a measurement data processing unit ECU_WAV and signal processing units S1 . S2 and S3 , The sensor system in this example is a radar sensor with control unit, which comprises the measurement data processing unit and the signal processing units, and scans its environment by emitting scanning beams from the sensor SEN by means of a transmitting unit TX from. The scanning beams are scattered at surrounding objects and thrown back to the sensor where they pass through the receiving units RX be registered. Here, by way of example, two receiving units are shown, although more or fewer receiving units may be provided. The by the receiving unit RX Registered measurement data are then passed through the measurement data processing unit ECU_WAV depending on the sensor system to be tested demodulation and / or digitization count. The digitized data will be in step S1 spectrally analyzed by suitable methods, for example by (fast) Fourier transformation. From this data DAT Now it is determined for each measured signal, in which distance and in which azimuthal angle the object is located, and which relative speed it has. In addition, an elevation angle can also be determined, that is, at what level the environment object is located. Further processing steps may, for example, be a tracking of these detected values over a certain period of time, so as to ensure that the values were actually caused by a physical environment object (step S2 ), or an object classification (step S3 ), from which the measured and tracked values are used to determine which object type, ie car, pedestrian, building, or ..., has caused the measured values. In 1 The dashed line shows the part of the system covered by the simulation. In this example, the physical transmit and receive units present in the sensor system are replaced by a simulation. The result of the simulation is the generation of sensor data DAT that before step S1 can be fed into the signal processing unit of the sensor system and convey to the control unit, it would see a specific, virtually generated environment scene. To generate the appropriate backscattered signals, a three-dimensional model of this environmental scene is created and linked to backscatter functions to obtain a channel model RAD-MOD that generates the expected measurement data. The channel model contains model objects OBJ and the associated backscatter functions (not in 1 shown), so that there is a realistic channel impulse response as a simulation result on the scanning by means of the scanning beam out.

2 zeigt eine schematische Darstellung eines 3D-Modells 3D-MOD, in diesem Beispiel sind darin vier Modellobjekte enthalten; ein Fahrzeug AUTO1, ein Baum B1 und zwei Fußgänger FG1 und FG2 enthalten, welche sich auf einer Straßenszene befinden. Die Grundstruktur des 3D-Modell kann beispielsweise eine XML-Datei sein, wobei diese XML-Datei für jedes Modellobjekt und Simulationszeitschritt Koordinaten innerhalb der Umgebungsszene enthalten, die periodisch von elektronischen Recheneinheit RT-PC im Simulator (Recheneinheit nicht in 2 abgebildet) aktualisiert werden. Die XML-Datei enthält zusätzlich für jedes dieser Modellobjekte einen Verweis auf ein in einem 3D-Datenformat (bspw. COLLADA) vorliegendes 3D-Modell des betreffenden Modellobjekts. Außerdem kann eine Texturkarte enthalten sein, welche Informationen über die Oberflächenbeschaffenheit/- farbe der Modellobjekte enthalten kann. Die Texturkarte kann auch für andere Informationen genutzt werden, zum Beispiel zum Ablegen von Rückstreufunktionen für die betreffenden Modellobjekte. Mittels einer GPU kann aus den vorliegenden Daten eine zweidimensionale Darstellung des 3D-Modell berechnet werden, das periodisch aktualisiert wird. 2 shows a schematic representation of a 3D model 3D-MOD, in this example, it contains four model objects; a vehicle AUTO1 , a tree B1 and two pedestrians FG1 and FG2 contained, which are on a street scene. The basic structure of the 3D model can be, for example, an XML file, wherein for each model object and simulation time step, this XML file contains coordinates within the environmental scene, which are periodically separated from electronic arithmetic unit RT-PC in the simulator (arithmetic unit not in 2 pictured). The XML file additionally contains a reference to a 3D model of the respective model object in a 3D data format (eg COLLADA) for each of these model objects. In addition, a texture map may be included which may contain information about the surface texture / color of the model objects. The texture map can also be used for other information, for example, to store backscatter functions for the model objects concerned. Using a GPU, a two-dimensional representation of the 3D model can be calculated from the available data, which is periodically updated.

3 zeigt eine schematische Darstellung eines Kanalmodells RAD-MOD, welches aufbauend auf dem 3D-Modell aus 2 generiert wurde. Hier sind wieder die vier Modellobjekte Fahrzeug AUTO1, ein Baum B1 und zwei Fußgänger FG1 und FG2 enthalten, welche sich in einer Straßenszene befinden. Das 3D-Modell wurde durch Rückstreufunktionen angereichert, die die Rückstreueigenschaften des betreffenden Modellobjekts abbilden. Das Fellow-Fahrzeug AUTO1 wurde mit zwei geometrischen und stark vereinfachten Reflexionseigenschaften modelliert. Die Radkästen haben eine verwinkelte Struktur und werfen unabhängig vom Einfallswinkel zumindest einen Teil des Abtaststrahls zurück zum Sensor - in der Figur mit (1) bezeichnet. Die glatten Flächen des Fellow-Fahrzeugs erzeugen abhängig vom Einfallswinkel ein Echo auf dem Sensor - in der Figur mit (2) bezeichnet. Unter den Rückstreufunktionen FKT 1 und FKT 2 sind deterministische Funktionen zu verstehen, die aus Sicht des Umgebungssensors typischerweise als von einem mit den Armen schwingenden Fußgänger reflektiertes Rückstreuprofil erkannt wird. Die FKT 3 ist eine stochastische Funktion, welche dem typischen Rückstreuprofil eines Baums B1 entspricht. 3 shows a schematic representation of a channel model RAD-MOD, which building on the 3D model 2 was generated. Here are again the four model objects vehicle AUTO1 , a tree B1 and two pedestrians FG1 and FG2 contained, which are in a street scene. The 3D model has been enriched by backscatter functions that map the backscatter properties of the model object in question. The Fellow vehicle AUTO1 was modeled with two geometric and highly simplified reflection properties. The wheel arches have an angled structure and throw at least a portion of the scanning beam back to the sensor regardless of the angle of incidence - in the figure (1). The smooth surfaces of the Fellow vehicle generate an echo on the sensor depending on the angle of incidence - indicated in the figure with (2). Among the backscatter functions FKT 1 and FKT 2 are to be understood as deterministic functions which, from the point of view of the environmental sensor, are typically recognized as a backscatter profile reflected by a pedestrian swinging with the arms. The FKT 3 is a stochastic function, which is the typical backscatter profile of a tree B1 equivalent.

Claims (11)

Computer-implementiertes Verfahren zur Erzeugung von Sensordaten zur Einspeisung in ein mittels HIL oder SIL-Test zu testenden Steuergeräts für aktive Umgebungssensoren, insbesondere automotive aktive Umgebungssensoren, ausgeführt mittels wenigstens einer elektronischen Recheneinheit (RT-PC), welches folgende Schritte umfasst: Einlesen eines 3D-Modells (3D-MOD), wobei das 3D-Modell eine Vielzahl Modellobjekte (OBJ) enthält, wobei das 3D-Modell eine zum Testen des Umgebungssensors definierte Umgebungsszene mit einer Vielzahl Umgebungsobjekten abbildet; Aussenden wenigstens eines Abtaststrahls in einem Sendewinkel in den Sichtbereich des Umgebungssensors (SEN); dadurch gekennzeichnet, dass das Verfahren weiterhin folgende Schritte umfasst: Generierung eines Kanalmodells (RAD-MOD), wobei das Generieren durch Verknüpfen von wenigstens einer Rückstreufunktion mit wenigstens einem Modellobjekt, wobei die Rückstreufunktion die Rückstreucharakteristik des simulierten Umgebungsobjekts abbildet; Verfolgung des Abtaststrahls durch das Kanalmodell, wobei die Abtaststrahlen mit den Modellobjekten entsprechend der verknüpften Rückstreufunktion wechselwirken, Detektion von Abtaststrahlen, die zurück zum Umgebungssensor reflektiert werden; Generierung einer Pfadliste, die die Pfade der zurück zum Umgebungssensor reflektierten Abtaststrahlen enthält, Generierung von Sensordaten (DAT) zur Einspeisung in das zu testende Steuergerät aus der generierten Pfadliste.Computer-implemented method for generating sensor data for feeding into an HIL or SIL test to be tested control device for active environment sensors, in particular automotive active environment sensors, carried out by at least one electronic computing unit (RT-PC), comprising the steps of: reading a 3D Model (3D-MOD), where the 3D model contains a plurality of model objects (OBJ), wherein the 3D model depicts an environment scene defined to test the environment sensor with a plurality of environment objects; Emitting at least one scanning beam at a transmission angle into the field of view of the environmental sensor (SEN); characterized in that the method further comprises the steps of: generating a channel model (RAD-MOD), the generating by linking at least one backscatter function to at least one model object, the backscatter function mapping the backscatter characteristic of the simulated environmental object; Tracking the scanning beam through the channel model, the scanning beams interacting with the model objects in accordance with the associated backscatter function, detecting scanning beams that are reflected back to the environmental sensor; Generation of a path list which contains the paths of the scanning beams reflected back to the environmental sensor, generation of sensor data (DAT) for feeding into the control unit to be tested from the generated path list. Verfahren nach 1, wobei die Vielzahl Abtaststrahlen ausgehend vom Umgebungssensor mit verschiedenen Sendewinkeln ausgesendet werden, sodass der Sichtbereich wenigstens teilweise fächerförmig abgedeckt wird.Method according to FIG. 1, wherein the plurality of scanning beams are emitted starting from the ambient sensor with different transmitting angles, so that the viewing area is at least partially covered in a fan-shaped manner. Verfahren nach Anspruch 2, wobei die Pfadliste eine Amplitude, und/oder eine Dopplerfrequenz, und/oder eine Pfadlänge, und/oder einen Sende-/Empfangswinkel des Abtaststrahls und/oder eine Auflistung der Interaktionspunkte des Abtaststrahls mit den Modellobjekten enthält.Method according to Claim 2 wherein the path list includes an amplitude, and / or a Doppler frequency, and / or a path length, and / or a transmission / reception angle of the scanning beam and / or a list of the interaction points of the scanning beam with the model objects. Verfahren nach Anspruch 1 oder 2, wobei die Rückstreufunktion deterministisch oder stochastisch ist.Method according to Claim 1 or 2 , where the backscatter function is deterministic or stochastic. Verfahren nach Anspruch 1 oder 2, wobei die Rückstreufunktion eine Reflexion des Abtaststrahls an dem Modellobjekt mit dem er wechselwirkt abhängig vom Einfallswinkel bewirkt.Method according to Claim 1 or 2 wherein the backscatter function causes a reflection of the scanning beam on the model object with which it interacts depending on the angle of incidence. Verfahren nach Anspruch 1 oder 2, wobei die Rückstreufunktion eine Reflexion des Abtaststrahls an dem Modellobjekt mit dem er wechselwirkt unabhängig vom Einfallswinkel bewirkt.Method according to Claim 1 or 2 wherein the backscatter function causes reflection of the scanning beam on the model object with which it interacts independently of the angle of incidence. Verfahren nach einem der vorhergehenden Ansprüche, wobei das 3D-Modell weiterhin eine Texturkarte umfasst, und die Rückstreufunktionen in der Texturkarte mit den Modellobjekten verknüpft sind.The method of any one of the preceding claims, wherein the 3D model further comprises a texture map and the backscatter functions in the texture map are associated with the model objects. Verfahren nach Anspruch 1, wobei jeder Rückstreufunktion ein eindeutiges Identifizierungsmerkmal zugeordnet ist, und wobei das Verknüpfen durch Speichern des Identifizierungsmerkmals in der Texturkarte erfolgt.Method according to Claim 1 wherein each backscatter function is associated with a unique identifier, and wherein the association occurs by storing the identifier in the texture map. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Verfolgung des Abtaststrahls durch das Kanalmodell nach einer festgelegten Anzahl an Reflexionen, oder Unterschreiten einer bestimmten Schwelle der reflektierten Amplitude, abgebrochen wird.Method according to one of the preceding claims, wherein the tracking of the scanning beam through the channel model after a fixed number of reflections, or falls below a certain threshold of the reflected amplitude, is stopped. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren einen zusätzlichen Schritt zur Generierung einer zweidimensionalen Abbildung des Kanalmodells aus der Perspektive des zu testenden Umgebungssensors umfasst, wobei die zweidimensionale Abbildung eine graphische Darstellung der durch das Kanalmodell berechneten und zurück zum Umgebungssensor reflektierten Abtaststrahlen umfasst.Method according to one of the preceding claims, wherein the method comprises an additional step for generating a two-dimensional image of the channel model from the perspective of the environmental sensor to be tested, wherein the two-dimensional image comprises a graphical representation of the calculated by the channel model and reflected back to the ambient sensor scanning. Vorrichtung zum Echtzeittesten eines Steuergeräts für radarbasierte Umgebungssensoren, umfassend eine elektronische Recheneinheit mit einem Speicher, und mit einer ersten Schnittstelle, und einer zweiten Schnittstelle, wobei die erste Schnittstelle als Eingangsschnittstelle eingerichtet ist, ein 3D-Modell einzulesen, wobei das 3D-Modell eine Vielzahl Modellobjekte (OBJ) enthält, wobei das 3D-Modell eine zum Testen des Umgebungssensors definierte Umgebungsszene mit einer Vielzahl Umgebungsobjekten abbildet; und wobei die zweite Schnittstelle eingerichtet ist, Sensordaten auszugeben, dadurch gekennzeichnet, dass die elektronische Recheneinheit dazu eingerichtet/programmiert ist, folgende Schritte auszuführen: aus einem eingelesenen 3D-Modell ein Kanal-Modell zu erzeugen, und dazu das 3D-Modell mit Rückstreufunktionen zu verknüpfen, wobei die Rückstreufunktionen die Rückstreucharakteristik des simulierten Umgebungsobjekts abbildet; Verfolgung des Abtaststrahls durch das Kanalmodell, wobei die Abtaststrahlen mit den Modellobjekten entsprechend der verknüpften Rückstreufunktion wechselwirken; Detektion von Abtaststrahlen, die zurück zum Umgebungssensor (SEN) reflektiert werden; Generierung einer Pfadliste, die die Pfade der zurück zum Umgebungssensor reflektierten Abtaststrahlen enthält; und Generierung von Sensordaten (DAT) zur Einspeisung in das zu testende Steuergerät aus der generierten Pfadliste.Device for real-time testing of a control device for radar-based environmental sensors, comprising an electronic computing unit with a memory, and having a first interface, and a second interface, wherein the first interface is configured as an input interface to read in a 3D model, wherein the 3D model a plurality Model object (OBJ), wherein the 3D model depicts an environment scene defined for testing the environmental sensor with a plurality of environment objects; and wherein the second interface is arranged to output sensor data, characterized in that the electronic processing unit is configured / programmed to carry out the following steps: to generate a channel model from an imported 3D model and to do so with the 3D model with backscatter functions the backscatter functions mapping the backscatter characteristic of the simulated environment object; Tracking the scanning beam through the channel model, the scanning beams interacting with the model objects according to the associated backscatter function; Detection of scanning beams reflected back to the environmental sensor (SEN); Generating a path list containing the paths of the scanning rays reflected back to the environmental sensor; and generating sensor data (DAT) for feeding into the controller to be tested from the generated path list.
DE102018103969.7A 2018-02-22 2018-02-22 Computer-implemented method for generating sensor data Pending DE102018103969A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018103969.7A DE102018103969A1 (en) 2018-02-22 2018-02-22 Computer-implemented method for generating sensor data
PCT/EP2019/054199 WO2019162317A1 (en) 2018-02-22 2019-02-20 Method for generating sensor data for safety-critical automobile control devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018103969.7A DE102018103969A1 (en) 2018-02-22 2018-02-22 Computer-implemented method for generating sensor data

Publications (1)

Publication Number Publication Date
DE102018103969A1 true DE102018103969A1 (en) 2019-08-22

Family

ID=65520274

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018103969.7A Pending DE102018103969A1 (en) 2018-02-22 2018-02-22 Computer-implemented method for generating sensor data

Country Status (2)

Country Link
DE (1) DE102018103969A1 (en)
WO (1) WO2019162317A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448316A (en) * 2021-06-29 2021-09-28 安徽江淮汽车集团股份有限公司 Signal injection system for hardware-in-the-loop testing
DE102021200244A1 (en) 2020-09-22 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Method for checking, evaluating and/or fault diagnosis of a sensor system, sensor system and system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3828652A1 (en) * 2019-11-26 2021-06-02 Siemens Aktiengesellschaft Method and test arrangement for testing an autonomous behaviour for a technical system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024500A1 (en) * 2015-07-21 2017-01-26 Tata Elxsi Limited System and method for enhanced emulation of connected vehicle applications

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014118624A1 (en) * 2014-12-15 2016-06-16 Valeo Schalter Und Sensoren Gmbh Method for simulatively determining an interaction between a sensor of a motor vehicle and a virtual object in a virtual surrounding area of the motor vehicle and computing device
DE102014118625A1 (en) * 2014-12-15 2016-06-16 Valeo Schalter Und Sensoren Gmbh Sensor arrangement for a test stand of a driver assistance system of a motor vehicle, test bench and associated method
EP3115804A1 (en) * 2015-07-08 2017-01-11 dSPACE digital signal processing and control engineering GmbH Test bench for testing a distance radar apparatus for determinig the distance and speed of obstacles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024500A1 (en) * 2015-07-21 2017-01-26 Tata Elxsi Limited System and method for enhanced emulation of connected vehicle applications

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CATHALA, T. [et al.]: IMPROVEMENTS OF SE-WORKBENCH-EO FOR THE INFRARED REAL TIME RENDERING OF OUTDOOR SCENES. Proceedings of the 6th International Symposium on Optronics in Defence and Security, OPTRO 2014, 8 Seiten. *
FEILHAUER, M. [et al.]: A real-time capable multi-sensor model to validate ADAS in a virtual environment. In: Isermann, R. (ed) Fahrerassistenzsysteme 2017, 30 Seiten, online ab dem 29.10.2017. *
GRUYER, D. [et al.]: Modeling and validation of a new generic virtual optical sensor for ADAS prototyping. Proceedings of the 2012 IEEE Intelligent Vehicles Symposium, Alcala de Henares, Spain, Juni 2012, S. 969-974. *
HIRSENKORN, N. [et al.]: A ray launching approach for modeling an FMCW radar system. Proceedings of the 18th International Radar Symposium (IRS), Prague, Czech Republic, 2017, 10 Seiten. *
WATT, A. [et al.]: Advanced Animation and Rendering Techniques. Theory and Practice. ACM Press, New York, 1992, S. 33-43. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021200244A1 (en) 2020-09-22 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Method for checking, evaluating and/or fault diagnosis of a sensor system, sensor system and system
US11589139B2 (en) 2020-09-22 2023-02-21 Robert Bosch Gmbh Method for checking, evaluation, and/or error diagnosis of a sensor system, sensor system, and system
CN113448316A (en) * 2021-06-29 2021-09-28 安徽江淮汽车集团股份有限公司 Signal injection system for hardware-in-the-loop testing

Also Published As

Publication number Publication date
WO2019162317A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
DE112016000274B4 (en) System for generating virtual radar signatures
EP2823331B1 (en) Method and device for detecting objects in the surroundings of a vehicle
DE102013104443B4 (en) Traffic monitoring system for measuring the speed and allocation of moving vehicles in a multi-target recording module
DE102018121018A1 (en) EXPAND REAL SENSOR RECORDINGS WITH SIMULATED SENSOR DATA BACKGROUND
DE102017119538A1 (en) Physical modeling for radar and ultrasonic sensors
DE102013113619A1 (en) Probabilistic target selection and hazard assessment procedures and application to an intersection collision warning system
WO2014183948A2 (en) Sensor product, simulator and method for simulating sensor measurements, for merging sensor measurements, for validating a sensor model and for designing a driver assistance system
DE102017102506B4 (en) METHOD FOR DETECTING OTHER VEHICLES RELATIVE TO A CARRIER VEHICLE USING WHEEL DETECTION
EP3714286B1 (en) Method and device for ascertaining an installation angle between a roadway on which a vehicle travels and a detection direction of a measurement or radar sensor
WO2019162317A1 (en) Method for generating sensor data for safety-critical automobile control devices
EP3430423B1 (en) Method for improving detection of at least one object in an environment of a motor vehicle by means of an indirect measurement using sensors, control device, driver assistance system, and motor vehicle
DE102019214628A1 (en) Validation of surroundings detection using satellite images and SAR radar data
EP3729044A1 (en) Method for analysing an automation system of an installation, emulator for at least partial virtual operation of an automation system of an installation, and system for analysing an automation system of an installation
DE102014118622A1 (en) Method for simulatively determining an interaction between a sensor of a motor vehicle and a virtual object in a virtual surrounding area of the motor vehicle and computing device
WO2020127245A1 (en) Determining the orientation of objects by means of radar or through the use of electromagnetic interrogation radiation
WO2022247994A1 (en) System for sensor data fusion for environmental perception
DE102011015094A1 (en) Method for determining measuring properties of ultrasonic sensor of driver assistance system of motor car, involves computing reception signal as sum of signal components that are reflected from surface area of object
DE10148070A1 (en) Recognition and tracking of objects in e.g. road scene using laser scanner, detects further object characteristics which are used for segment-object-allocation
DE102018222800A1 (en) Locating and / or classifying objects from radar data with improved reliability at different distances
DE102020214596A1 (en) Method for generating training data for a recognition model for recognizing objects in sensor data of an environment sensor system of a vehicle, method for generating such a recognition model and method for controlling an actuator system of a vehicle
DE102019213929A1 (en) Plausibility check of stopped previously dynamic objects with the help of allocation grids
WO2022122339A1 (en) Method and system for testing a controller of a vehicle
DE102019202266A1 (en) Method and computer program product for adapting a resolution of a multi-sensor system of a road vehicle and control device for a multi-sensor system and computer program product
DE102014118624A1 (en) Method for simulatively determining an interaction between a sensor of a motor vehicle and a virtual object in a virtual surrounding area of the motor vehicle and computing device
DE102008055932A1 (en) Man-made sensor e.g. environment sensor, performance model-based simulation method for car, involves modifying parameters of polygons and reference points, and generating sensor data by environment including parameter-modified polygons

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0019000000

Ipc: G16Z0099000000

R081 Change of applicant/patentee

Owner name: DSPACE GMBH, DE

Free format text: FORMER OWNER: DSPACE DIGITAL SIGNAL PROCESSING AND CONTROL ENGINEERING GMBH, 33102 PADERBORN, DE