DE102019125075A1 - Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment - Google Patents

Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment Download PDF

Info

Publication number
DE102019125075A1
DE102019125075A1 DE102019125075.7A DE102019125075A DE102019125075A1 DE 102019125075 A1 DE102019125075 A1 DE 102019125075A1 DE 102019125075 A DE102019125075 A DE 102019125075A DE 102019125075 A1 DE102019125075 A1 DE 102019125075A1
Authority
DE
Germany
Prior art keywords
data set
laser beam
lidar sensor
virtual environment
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019125075.7A
Other languages
German (de)
Inventor
Turgay Isik Aslandere
Alain Marie Roger Chevalier
Michael Marbaix
Frederic Stefan
Evangelos BITSANIS
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Priority to DE102019125075.7A priority Critical patent/DE102019125075A1/en
Priority to CN202010973580.8A priority patent/CN112530022A/en
Publication of DE102019125075A1 publication Critical patent/DE102019125075A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006Theoretical aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/12Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

Die Erfindung betrifft ein Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung, mit den Schritten:
(S100) Einlesen eines VR-Datensatzes (VR) repräsentativ für die virtuelle Umgebung,
(S200) Einlesen eines Parameterdatensatzes (PM) zur Parametrisierung eines LIDAR-Sensor-Simulationsmoduls,
(S300) Erzeugen eines Laserstrahl-Datensatzes (LD) repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahl (LS1, LS2, LS3, LS4, LS5) unter Verwendung des LIDAR-Sensor-Simulationsmoduls (4) und des Parameterdatensatzes (PM),
(S400) Bestimmen eines Reichweite-Datensatzes (RD) repräsentativ für eine Reichweite des Laserstrahles (LS1, LS2, LS3, LS4, LS5) unter Auswertung des VR-Datensatzes (VR) und des Laserstrahl-Datensatzes (LD) durch Raytracing, und
(S500) Erzeugen von Bilddaten (BD) repräsentativ für die virtuelle Umgebung durch Kombinieren des VR-Datensatzes (VR) mit dem Laserstrahl-Datensatz (LD) und dem Reichweite-Datensatz (RD).

Figure DE102019125075A1_0000
The invention relates to a method for the computer-implemented simulation of a LIDAR sensor in a virtual environment, with the following steps:
(S100) Reading in a VR data record (VR) representative of the virtual environment,
(S200) Reading in a parameter data set (PM) for the parameterization of a LIDAR sensor simulation module,
(S300) Generating a laser beam data set (LD) representative of a laser beam (LS1, LS2, LS3, LS4, LS5) emitted by the LIDAR sensor using the LIDAR sensor simulation module (4) and the parameter data set (PM),
(S400) determining a range data record (RD) representative of a range of the laser beam (LS1, LS2, LS3, LS4, LS5) by evaluating the VR data record (VR) and the laser beam data record (LD) by ray tracing, and
(S500) Generating image data (BD) representative of the virtual environment by combining the VR data set (VR) with the laser beam data set (LD) and the range data set (RD).
Figure DE102019125075A1_0000

Description

Die Erfindung betrifft ein Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung. Ferner betrifft die Erfindung ein Computerprogrammprodukt und ein System zur computerimplementierten Simulation eines derartigen LIDAR-Sensors.The invention relates to a method for the computer-implemented simulation of a LIDAR sensor in a virtual environment. The invention also relates to a computer program product and a system for computer-implemented simulation of such a LIDAR sensor.

Kraftfahrzeuge können zum sogenannten autonomen Fahren ausgebildet sein. Ein autonom fahrendes Kraftfahrzeug ist ein selbstfahrendes Kraftfahrzeug, das ohne Einfluss eines menschlichen Fahrers fahren, steuern und einparken kann (hochautomatisiertes Fahren bzw. autonomes Fahren). Im Falle, dass keinerlei manuelles Steuern seitens des Fahrers nötig ist, wird auch der Begriff Roboterauto verwendet. Dann kann der Fahrersitz leer bleiben; eventuell sind Lenkrad, Brems- und Fahrpedal nicht vorhanden.Motor vehicles can be designed for so-called autonomous driving. An autonomously driving motor vehicle is a self-driving motor vehicle that can drive, control and park without the influence of a human driver (highly automated driving or autonomous driving). In the event that no manual control is required on the part of the driver, the term robot car is also used. Then the driver's seat can remain empty; possibly the steering wheel, brake and accelerator pedals are not available.

Derartige autonome Kraftfahrzeuge können mithilfe verschiedener Sensoren ihre Umgebung erfassen und aus den gewonnenen Informationen ihre eigene Position und die der anderen Verkehrsteilnehmer bestimmen, in Zusammenarbeit mit der Navigationssoftware ein Fahrziel ansteuern und Kollisionen auf dem Weg dorthin vermeiden.Autonomous vehicles of this type can use various sensors to detect their surroundings and use the information obtained to determine their own position and that of other road users, navigate to a destination in cooperation with the navigation software and avoid collisions on the way there.

Ein derartiger Sensor kann ein sogenannter LIDAR-Sensor sein. LIDAR (Abkürzung für englisch light detection and ranging), bezeichnet dabei eine dem Radar verwandte Methode zur optischen Abstands- und Geschwindigkeitsmessung sowie zur Fernmessung. Statt elektromagnetischer Wellen wie beim RADAR werden Laserstrahlen verwendet.Such a sensor can be a so-called LIDAR sensor. LIDAR (abbreviation for light detection and ranging), describes a radar-related method for optical distance and speed measurement as well as for remote measurement. Instead of electromagnetic waves as with RADAR, laser beams are used.

LIDAR-Sensoren bieten den Vorteil, dass sie einen 360-Grad-Bereich um das Kraftfahrzeug herum mit hoher Auflösung und Geschwindigkeit abzutasten können. Typischerweise verwendet ein LIDAR-Sensor eine Anordnung von laserbasierten Sensoren (z.B. 64), die sich mit hoher Geschwindigkeit (mehrere 100 n/min) drehen. Der LIDAR-Sensor ist dann in der Lage, Hindernisse zu erfassen, die von einem Laserstrahl getroffen werden. So ist es möglich, Koordinaten jedes Treffers bzw. von jedem Objekt im Umfeld des Kraftfahrzeugs zu bestimmen. Durch die Auswertung dieser LIDAR-Daten ist es auch möglich, Informationen über die Geländetopologie im Bereich um das Kraftfahrzeug herum zu gewinnen.LIDAR sensors offer the advantage that they can scan a 360-degree area around the motor vehicle with high resolution and speed. Typically, a LIDAR sensor uses an array of laser-based sensors (e.g. 64) that rotate at high speed (several 100 n / min). The LIDAR sensor is then able to detect obstacles hit by a laser beam. It is thus possible to determine the coordinates of every hit or of every object in the vicinity of the motor vehicle. By evaluating this LIDAR data, it is also possible to obtain information about the topology of the terrain in the area around the motor vehicle.

Um ein derartiges automatisiertes Fahren zu testen werden die Kraftfahrzeuge in der realen Welt getestet. Dies ist jedoch ein kostspieliger Vorgang und die Unfallgefahr ist hoch. Um Unfälle zu vermeiden und gleichzeitig Kosten zu senken, sind Tests in den computergenerierten virtuellen Umgebungen, wie beispielsweise Tests in virtuellen Städten, notwendig. Die VR-Technologie (Virtual-Reality-Technologie) zusammen mit einer virtuellen Umgebung eröffnet viele Möglichkeiten. Der Hauptvorteil der VR-Technologie besteht darin, dass sie einem Nutzer, wie z.B. einem Ingenieur erlaubt, Teil der Tests zu sein, mit dem Testszenario oder den Konfigurationsparametern zu interagieren.In order to test such automated driving, the motor vehicles are tested in the real world. However, this is an expensive process and the risk of accidents is high. In order to avoid accidents and at the same time reduce costs, tests in the computer-generated virtual environments, such as tests in virtual cities, are necessary. The VR technology (Virtual Reality Technology) together with a virtual environment opens up many possibilities. The main advantage of VR technology is that it allows a user, such as an engineer, to be part of the tests, to interact with the test scenario or the configuration parameters.

Aus der KR101572618 ist eine LIDAR-Simulationseinheit bekannt zum Simulieren eines LIDAR-Sensors in einer virtuellen Umgebung.A LIDAR simulation unit for simulating a LIDAR sensor in a virtual environment is known from KR101572618.

Es besteht Bedarf daran, Wege aufzuzeigen, wie eine computerimplementierte Simulation eines LIDAR-Sensors in einer virtuellen Umgebung verbessert werden kann.There is a need to show ways in which a computer-implemented simulation of a LIDAR sensor in a virtual environment can be improved.

Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung, mit den Schritten:

  • Einlesen eines VR-Datensatzes repräsentativ für die virtuelle Umgebung,
  • Einlesen eines Parameterdatensatzes zur Parametrisierung eines LIDAR-Sensor-Simulationsmoduls,
  • Erzeugen eines Laserstrahl-Datensatzes repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahl unter Verwendung des LIDAR-Sensor-Simulationsmoduls und des Parameterdatensatzes, Bestimmen eines Reichweite-Datensatzes repräsentativ für eine Reichweite des Laserstrahles unter Auswertung des VR-Datensatzes und des Laserstrahl-Datensatzes durch Raytracing, und
  • Erzeugen von Bilddaten repräsentativ für die virtuelle Umgebung durch Kombinieren des VR-Datensatzes mit dem Laserstrahl-Datensatz und dem Reichweite-Datensatz.
The object of the invention is achieved by a method for the computer-implemented simulation of a LIDAR sensor in a virtual environment, with the steps:
  • Reading in a VR data set representative of the virtual environment,
  • Reading in a parameter data set for the parameterization of a LIDAR sensor simulation module,
  • Generating a laser beam data set representative of a laser beam emitted by the LIDAR sensor using the LIDAR sensor simulation module and the parameter data set, determining a range data set representative of a range of the laser beam while evaluating the VR data set and the laser beam data set Ray tracing, and
  • Generation of image data representative of the virtual environment by combining the VR data set with the laser beam data set and the range data set.

Mit dem Parameterdatensatz können verschiedene Parameter des zu simulierenden LIDAR-Sensor frei von einem Nutzer konfiguriert werden, wobei durch das Bestimmen eines Reichweite-Datensatzes repräsentativ für eine Reichweite des Laserstrahles unter Auswertung des VR-Datensatzes und des Laserstrahl-Datensatzes durch Raytracing ein besonders rechnerressourcenschonendes Verfahren bereitgestellt werden kann. So kann eine computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung verbessert werden.With the parameter data set, various parameters of the LIDAR sensor to be simulated can be freely configured by a user, whereby by determining a range data set representative of a range of the laser beam while evaluating the VR data set and the laser beam data set by ray tracing, a particularly computer resource-saving method can be provided. In this way, a computer-implemented simulation of a LIDAR sensor in a virtual environment can be improved.

Gemäß einer Ausführungsform parametrisiert der Parameterdatensatz einen statischen LIDAR-Sensor mit einem horizontalen Abtastbereich und/oder einem vertikalen Abtastbereich und/oder einer maximale Reichweite und/oder einer Abtastrate. So kann auf einfache Art und Weise auch ein statischer LIDAR-Sensor in einer virtuellen Umgebung simuliert werden.According to one embodiment, the parameter data set parameterizes a static LIDAR sensor with a horizontal scanning area and / or a vertical scanning area and / or a maximum range and / or a scanning rate. So can a simple way too static LIDAR sensor can be simulated in a virtual environment.

Gemäß einer weiteren Ausführungsform parametrisiert der Parameterdatensatz einen rotierenden LIDAR-Sensor, wobei der Laserstrahl-Datensatz repräsentativ für einen rotierenden Laserstrahl ist. Zusätzlich kann der Parameterdatensatz einem horizontalen Abtastbereich und/oder einem vertikalen Abtastbereich und/oder eine maximalen Reichweite und/oder eine Abtastrate definieren. So kann auf einfache Art und Weise auch ein rotierender LIDAR-Sensor in einer virtuellen Umgebung simuliert werden.According to a further embodiment, the parameter data set parameterizes a rotating LIDAR sensor, the laser beam data set being representative of a rotating laser beam. In addition, the parameter data set can define a horizontal scanning area and / or a vertical scanning area and / or a maximum range and / or a scanning rate. In this way, a rotating LIDAR sensor can also be simulated in a virtual environment in a simple manner.

Gemäß einer weiteren Ausführungsform werden Abtastdaten repräsentativ für Abtastpunkte des LIDAR-Sensors in einem Ringspeicher zwischengespeichert. Der Ringspeicher ist derart ausgebildet, dass die ältesten Daten gelöscht werden, wenn neue Daten hinzukommen. So kann die Speichergröße minimiert werden. Dabei speichert jedes Speicherelement des Ringspeichers die Daten, die alle gescannten LIDAR-Punkte zu einem Abtastzeitpunkt beinhalten.According to a further embodiment, sampling data representative of sampling points of the LIDAR sensor are temporarily stored in a ring memory. The ring memory is designed in such a way that the oldest data is deleted when new data is added. This way the memory size can be minimized. Each storage element of the ring buffer stores the data that contain all scanned LIDAR points at a sampling time.

Gemäß einer weiteren Ausführungsform wird gemäß dem Laserstrahl-Datensatz ein Laserstrahl in der virtuellen Umgebung einem Nutzer visualisiert. Die Visualisierung der Laserstrahlen ermöglicht es einem Nutzer, wie z.B. einem Ingenieur, mit den Laserstrahlen in der virtuellen Umgebung zu interagieren. So kann der Nutzer ein vom LIDAR-Sensor erfasstes Objekt in der virtuellen Umgebung sehen, was eine Auswertung von Simulationsergebnissen vereinfacht.According to a further embodiment, a laser beam is visualized to a user in the virtual environment according to the laser beam data record. The visualization of the laser beams enables a user, such as an engineer, to interact with the laser beams in the virtual environment. The user can see an object detected by the LIDAR sensor in the virtual environment, which simplifies the evaluation of simulation results.

Gemäß einer weiteren Ausführungsform kann ein Nutzer ein HMI in der virtuellen Umgebung nutzen. So kann ein sich in der virtuellen Umgebung befindlicher Nutzer mit als virtuellem HMI ausgebildeten HMI verschiedene Eingaben tätigen, wie z.B. den Parameterdatensatz eingeben oder diesen auch ändern. Somit kann ein Nutzer vollständig innerhalb der virtuellen Umgebung agieren und muss diese nicht verlassen um z.B. den Parameterdatensatz zu ändern.According to a further embodiment, a user can use an HMI in the virtual environment. In this way, a user in the virtual environment can make various inputs with an HMI designed as a virtual HMI, such as entering the parameter data set or changing it. Thus, a user can act completely within the virtual environment and does not have to leave it, e.g. to change the parameter data set.

Ferner gehören zur Erfindung ein Computerprogrammprodukt und ein System zur computerimplementierten Simulation eines derartigen LIDAR-Sensors.The invention also includes a computer program product and a system for computer-implemented simulation of such a LIDAR sensor.

Es wird nun die Erfindung anhand einer Zeichnung erläutert. Es zeigen:

  • 1 in schematischer Darstellung ausgewählte Komponenten eines Systems zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung,
  • 2A in schematischer Darstellung eine Simulation eines statischen LIDAR-Sensors
  • 2B eine weitere schematische Darstellung einer Simulation eines statischen LIDAR-Sensors.
  • 3A eine Visualisierung des statischen LIDAR-Sensors in einer virtuellen Umgebung in perspektivischer Darstellung.
  • 3B eine Visualisierung des statischen LIDAR-Sensors in einer virtuellen Umgebung in einer Draufsicht.
  • 4 eine weitere Visualisierung des statischen LIDAR-Sensors.
  • 5A in schematischer Darstellung eine Simulation eines um seine x-Achse rotierenden LIDAR-Sensors.
  • 5B eine weitere schematische Darstellung einer Simulation eines um seine z-Achse rotierenden LIDAR-Sensors.
  • 6A in schematischer Darstellung eine Simulation eines um seine x-Achse rotierenden LIDAR-Sensors.
  • 6B eine weitere schematische Darstellung einer Simulation eines um seine z-Achse rotierenden LIDAR-Sensors.
  • 7 eine Visualisierung eines rotierenden LIDAR-Sensors in einer virtuellen Umgebung in perspektivischer Darstellung.
  • 8 eine Visualisierung eines mit einem LIDAR-Sensor erfassten Objektes.
  • 9 eine Visualisierung eines HMI zur Verwendung in einer virtuellen Umgebung.
  • 10 in schematischer Darstellung einen Verfahrensablauf zum Betrieb des in 1 gezeigten Systems.
The invention will now be explained with reference to a drawing. Show it:
  • 1 A schematic representation of selected components of a system for the computer-implemented simulation of a LIDAR sensor in a virtual environment,
  • 2A a schematic representation of a simulation of a static LIDAR sensor
  • 2 B another schematic representation of a simulation of a static LIDAR sensor.
  • 3A a visualization of the static LIDAR sensor in a virtual environment in a perspective representation.
  • 3B a visualization of the static LIDAR sensor in a virtual environment in a top view.
  • 4th another visualization of the static LIDAR sensor.
  • 5A a schematic representation of a simulation of a LIDAR sensor rotating about its x-axis.
  • 5B Another schematic representation of a simulation of a LIDAR sensor rotating about its z-axis.
  • 6A a schematic representation of a simulation of a LIDAR sensor rotating about its x-axis.
  • 6B Another schematic representation of a simulation of a LIDAR sensor rotating about its z-axis.
  • 7th a visualization of a rotating LIDAR sensor in a virtual environment in a perspective representation.
  • 8th a visualization of an object detected with a LIDAR sensor.
  • 9 a visualization of an HMI for use in a virtual environment.
  • 10 a schematic representation of a process sequence for operating the in 1 shown system.

Es wird zunächst auf 1 Bezug genommen.It gets on first 1 Referenced.

Dargestellt ist ein System 2 zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung.A system is shown 2 for the computer-implemented simulation of a LIDAR sensor in a virtual environment.

Als virtuelle Realität, kurz VR, wird die Darstellung und gleichzeitige Wahrnehmung der Wirklichkeit und ihrer physikalischen Eigenschaften in einer in Echtzeit computergenerierten, interaktiven virtuellen Umgebung bezeichnet.As virtual reality, in short VR , the representation and simultaneous perception of reality and its physical properties in a real-time computer-generated, interactive virtual environment is called.

Um ein Gefühl der Immersion zu erzeugen werden zur Darstellung der virtuellen Umgebung spezielle Ausgabegeräte, wie z.B. Virtual-Reality-Headsets, verwendet. Um einen räumlichen Eindruck zu vermitteln, werden zwei Bilder aus unterschiedlichen Perspektiven erzeugt und dargestellt (Stereoprojektion).In order to create a feeling of immersion, special output devices such as virtual reality headsets are used to represent the virtual environment. To give a spatial impression, two images are made up of different Perspectives generated and displayed (stereo projection).

Für die Interaktion mit der virtuellen Welt werden spezielle Eingabegeräte (nicht dargestellt) benötigt, wie z.B. 3D-Maus, Datenhandschuh oder Flystick. Der Flystick wird zur Navigation mit einem optischen Trackingsystem genutzt, wobei Infrarot-Kameras durch Erfassung von Markern am Flystick permanent die Position im Raum an das System 2 melden, damit sich ein Nutzer 8 ohne Verkabelung frei bewegen kann. Optische Trackingsysteme können auch für die Erfassung von Werkzeugen und kompletten Menschmodellen eingesetzt werden, um diese innerhalb des VR-Szenarios in Echtzeit manipulieren zu können.Special input devices (not shown), such as a 3D mouse, data glove or flystick, are required for interaction with the virtual world. The flystick is used for navigation with an optical tracking system, whereby infrared cameras permanently transmit the position in space to the system by capturing markers on the flystick 2 report to a user 8th can move freely without wiring. Optical tracking systems can also be used to record tools and complete human models in order to locate them within the VR - Manipulate scenarios in real time.

Einige Eingabegeräte vermitteln dem Nutzer 8 eine Kraftrückkopplung auf die Hände oder andere Körperteile (Force Feedback), sodass der Nutzer 8 sich durch die Haptik und Sensorik als weitere Sinnesempfindung in der virtuellen Umgebung orientieren kann.Some input devices convey to the user 8th a force feedback on the hands or other body parts (Force Feedback), so that the user 8th can orientate itself through the haptics and sensors as a further sensory perception in the virtual environment.

Für die Erzeugung einer virtuellen Umgebung ist ferner eine speziell für diesen Zweck entwickelte Software erforderlich. Die Software muss komplexe dreidimensionale Welten in Echtzeit, d.h. mit mindestens 25 Bildern pro Sekunde, in Stereo getrennt für linkes und rechtes Auge des Nutzers 8 berechnen können. Dieser Wert variiert je nach Anwendung - eine Fahrsimulation beispielsweise erfordert mindestens 60 Bilder pro Sekunde, um Übelkeit (Simulatorkrankheit) zu vermeiden.In addition, software specially developed for this purpose is required to create a virtual environment. The software has to create complex three-dimensional worlds in real time, ie with at least 25 frames per second, in stereo separated for the left and right eye of the user 8th can calculate. This value varies depending on the application - a driving simulation, for example, requires at least 60 images per second to avoid nausea (simulator sickness).

Von den Komponenten des Systems 2 sind in der 1 ein LIDAR-Sensor-Simulationsmodul 4 und ein Ringspeicher 6 sowie ein mit dem System 2 datenaustauschend verbundenes HMI 10 dargestellt, dass der Nutzer 8 auf dem Kopf trägt und im vorliegenden Ausführungsbeispiel als ausgebildet ist Das System 2 ist dazu ausgebildet, basierend auf der virtuellen Umgebung einen die aktuelle Blickrichtung des Nutzers 8 berücksichtigende Bilddaten BD bereitzustellen, die dann von dem HMI 10 dem Nutzer 8 visualisiert werden.From the components of the system 2 are in the 1 a LIDAR sensor simulation module 4th and a ring buffer 6th as well as one with the system 2 HMI connected to exchange data 10 illustrated that the user 8th on the head and is designed in the present embodiment as The system 2 is designed to determine the current viewing direction of the user based on the virtual environment 8th image data to be taken into account BD to be provided by the HMI 10 the user 8th can be visualized.

Dabei ist das System 2 ferner dazu ausgebildet, einen VR-Datensatz VR repräsentativ für die virtuelle Umgebung und einen Parameterdatensatz PM zur Parametrisierung eines LIDAR-Sensor-Simulationsmoduls 4 einzulesen.The system is there 2 also designed to provide a VR -Record VR representative of the virtual environment and a parameter data set PM for the parameterization of a LIDAR sensor simulation module 4th read in.

Das LIDAR-Sensor-Simulationsmodul 4 ist im vorliegenden Ausführungsbeispiel dazu ausgebildet, einen Laserstrahl-Datensatz LD (siehe 10) repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahl unter Verwendung des LIDAR-Sensor-Simulationsmoduls und des Parameterdatensatzes PM zu erzeugen und einen Reichweite-Datensatz RD (siehe 10) repräsentativ für eine Reichweite des Laserstrahles unter Auswertung des VR-Datensatzes VR und des Laserstrahl-Datensatzes LD durch Raytracing zu bestimmen.The LIDAR sensor simulation module 4th is designed in the present exemplary embodiment to generate a laser beam data record LD (please refer 10 ) representative of a laser beam emitted by the LIDAR sensor using the LIDAR sensor simulation module and the parameter data set PM and generate a range data set RD (please refer 10 ) representative of a range of the laser beam under evaluation of the VR Record VR and the laser beam data set LD to be determined by ray tracing.

Dabei wird unter Raytracing (auch Strahlverfolgung oder Strahlenverfolgung) ein auf der Aussendung von Strahlen basierender Algorithmus zur Verdeckungsberechnung verstanden, also ein Algorithmus zur Ermittlung der Sichtbarkeit von dreidimensionalen Objekten von einem bestimmten Punkt im Raum aus.In this context, ray tracing is understood to mean an algorithm based on the emission of rays for concealment calculation, i.e. an algorithm for determining the visibility of three-dimensional objects from a specific point in space.

Mit anderen Worten, Raytracing ist in erster Linie ein Verfahren zur Verdeckungsberechnung, also zur Ermittlung der Sichtbarkeit von Objekten ab einem Augpunkt 12 (siehe 2).In other words, ray tracing is primarily a method for calculating occlusion, i.e. for determining the visibility of objects from one eye point 12th (please refer 2 ).

Im Rahmen des Raytracing wird der Laserstrahl-Datensatz LD ausgewertet, der den Anfangspunkt und die Richtung eines simulierten Laserstahles in Form einer Halbgeraden im Raum angibt. Für ein Objekt in der virtuellen Umgebung gemäß dem VR-Datensatz VR wird nun mittels geometrischer Verfahren der Schnittpunkt, bei dem der simulierte Laserstrahl auf das Objekt trifft, ermittelt. Dabei wird auch die Entfernung vom Augpunkt 12 des LIDAR-Sensors bis zum Schnittpunkt berechnet und in Form des Reichweite-Datensatzes RD bereitgestellt.As part of ray tracing, the laser beam data record LD evaluated, which indicates the starting point and the direction of a simulated laser beam in the form of a half-line in space. For an object in the virtual environment according to the VR -Record VR the point of intersection at which the simulated laser beam hits the object is now determined by means of a geometric method. This also includes the distance from the eye point 12th of the LIDAR sensor is calculated up to the point of intersection and in the form of the range data set RD provided.

Der Parameterdatensatz PM kann einen statischen LIDAR-Sensor parametrisieren mit einem horizontalen Abtastbereich und/oder einem vertikalen Abtastbereich und/oder einer maximaler Reichweite und/oder einer Abtastrate, oder der Parameterdatensatz PM kann einen rotierenden LIDAR-Sensor parametrisieren, wobei der Laserstrahl-Datensatz LD repräsentativ für einen rotierenden Laserstrahl ist, wie dies später noch detailliert erläutert wird.The parameter data set PM can parameterize a static LIDAR sensor with a horizontal scanning area and / or a vertical scanning area and / or a maximum range and / or a scanning rate, or the parameter data set PM can parameterize a rotating LIDAR sensor, with the laser beam data set LD is representative of a rotating laser beam, as will be explained in detail later.

In dem Ringspeicher 6 können Abtastdaten D repräsentativ für Abtastpunkte des LIDAR-Sensors zwischengespeichert werden. Ferner ist das System 2 - wie dies ebenfalls noch später detailliert erläutert wird - dazu ausgebildet, einen Laserstrahl gemäß dem bestimmten Laserstrahl-Datensatz LD in der virtuellen Umgebung dem Nutzer 8 zu visualisieren und es dem Nutzer 8 zu ermöglichen, das HMI 1 0 in der virtuellen Umgebung zu nutzen.In the ring buffer 6th can scan data D. are temporarily stored representative of the sampling points of the LIDAR sensor. Furthermore, the system is 2 - as will also be explained in detail later - designed to generate a laser beam in accordance with the specific laser beam data set LD in the virtual environment to the user 8th to visualize it and give it to the user 8th to enable the HMI 1 0 to be used in the virtual environment.

Für diese und die nachfolgend beschriebenen Aufgaben und Funktionen können das System 2, das LIDAR-Sensor-Simulationsmodul 4 und der Ringspeicher 6 jeweils entsprechende Hard- und/oder Software-Komponenten aufweisen.For this and the tasks and functions described below, the system 2 , the LIDAR sensor simulation module 4th and the ring buffer 6th each have corresponding hardware and / or software components.

Es wird nun zusätzlich auf die 2A und 2B Bezug genommen, um die Simulation eines statischen LIDAR-Sensors zu erläutern.It is now also applied to the 2A and 2 B Referenced to illustrate the simulation of a static lidar sensor.

In der virtuellen Umgebung wird die Anzahl von vertikalen Laserstrahlen LS1, LS2, LS3, LS4, LS5 bestimmt. Ein Neigungswinkel des LIDAR-Sensors wird ebenfalls berücksichtigt und die Ausrichtung der Laserstrahlen LS1, LS2, LS3, LS4, LS5 entsprechend angepasst.In the virtual environment, the number of vertical laser beams LS1 , LS2 , LS3 , LS4 , LS5 certainly. An angle of inclination of the LIDAR sensor is also taken into account and the alignment of the laser beams LS1 , LS2 , LS3 , LS4 , LS5 adjusted accordingly.

Ein erster Laserstrahl LS1 (siehe 2A) wird an der Position des Augpunktes 12 des LIDAR-Sensors an einem Startwinkel SW1 emittiert. Wenn - wie im vorliegenden Ausführungsbeispiel - für einen vertikalen Abtastbereich VFOV ein Wert = 40° gewählt wird sollte der Startwinkel SW1 = 70° betragen. Mit anderen Worten, der Wert des Startwinkels SW1 wird wie folgt berechnet: SW1  =   π VFOV / 2.

Figure DE102019125075A1_0001
A first laser beam LS1 (please refer 2A) is at the position of the eye point 12th of the LIDAR sensor at a starting angle SW1 emitted. If - as in the present embodiment - for a vertical scanning area VFOV If a value = 40 ° is selected, the starting angle SW1 should be 70 °. In other words, the value of the starting angle SW1 is calculated as follows: SW1 = π - VFOV / 2.
Figure DE102019125075A1_0001

Die einzelnen Laserstrahlen LS1, LS2, LS3, LS4, LS5 sind in Umfangsrichtung gleichmäßig voneinander beabstandet angeordnet. Wenn - wie im vorliegenden Ausführungsbeispiel - der vertikale Abtastbereich VFOV einen Wert = 40° aufweist und die Anzahl der Laserstrahlen LS1, LS2, LS3, LS4, LS5 fünf beträgt ergibt sich somit ein Schrittwinkel von 40°/5 = 8°.The individual laser beams LS1 , LS2 , LS3 , LS4 , LS5 are evenly spaced from one another in the circumferential direction. If - as in the present embodiment - the vertical scanning area VFOV has a value = 40 ° and the number of laser beams LS1 , LS2 , LS3 , LS4 , LS5 five is a step angle of 40 ° / 5 = 8 °.

In analoger Art und Weise (siehe 2B) kann ein Startwinkel SW2 für den horizontalen Abtastbereich HFOV bestimmt werden: SW2  =   π HFOV / 2.

Figure DE102019125075A1_0002
In an analogous way (see 2 B) can be a starting angle SW2 for the horizontal scanning area HFOV be determined: SW2 = π - HFOV / 2.
Figure DE102019125075A1_0002

Es wird nun zusätzlich auf die 3A und 3B Bezug genommen.It is now also applied to the 3A and 3B Referenced.

Dargestellt ist eine Visualisierung von Laserstahlen, die von einem LIDAR-Sensor in einer virtuellen Umgebung emittiert werden. Der Wert für den vertikalen Abtastbereich VFOV beträgt 18°, der Wert für den horizontalen Abtastbereich HFOV beträgt 180°, die Anzahl m der horizontalen Laserstrahlen beträgt 8 und die Anzahl n der vertikalen Laserstrahlen beträgt 3.It shows a visualization of laser beams that are emitted by a LIDAR sensor in a virtual environment. The value for the vertical scan area VFOV is 18 °, the value for the horizontal scanning range HFOV is 180 °, the number m of the horizontal laser beams is 8 and the number n the vertical laser beam is 3.

Die Gesamtzahl G der Abtastpunkte beträgt im vorliegenden Ausführungsbeispiel bei einer Abtastrate t = 0,005s G = m x n / t = 8 x 3 x 1 / 0.005 = 4800.The total number G In the present exemplary embodiment, the sampling points are at a sampling rate t = 0.005s G = mxn / t = 8 x 3 x 1 / 0.005 = 4800.

Mit anderen Worten, die Gesamtzahl G der Abtastpunkte ergibt sich aus der Gesamtzahl der Laserstrahlen. Dabei bezieht sich das Produkt aus der Anzahl m der horizontalen Laserstrahlen und der Anzahl n der vertikalen Laserstrahlen auf einen Simulationsdurchlauf. Für eine genaue Simulation sollten die Werte für m und n entsprechend den LIDAR-Spezifikationen ausgewählt werden. Da jeder Simulationsdurchlauf zu einem festen Zeitpunkt ausgeführt wird, wird der Simulationsdurchlauf auch als fixed-update bezeichnet. Es gibt keine Grenzen für die Wahl der festen Zeitschrittweite T in den virtuellen Umgebungen. Es wird jedoch in der Regel eine Zeitdauer von 5 - 25 Millisekunden (= 0,005s bis 0,025s) gewählt. So wird die Simulation mit einer Abtastrate t = 1 / T durchgeführt.In other words, the total G the scanning points result from the total number of laser beams. The product is based on the number m of the horizontal laser beams and the number n of the vertical laser beams on a simulation run. For an accurate simulation, the values for m and n should be selected according to the LIDAR specifications. Since each simulation run is carried out at a fixed point in time, the simulation run is also referred to as a fixed update. There are no limits to the choice of the fixed time step size T in the virtual environments. As a rule, however, a period of 5 - 25 milliseconds (= 0.005s to 0.025s) is selected. The simulation is carried out with a sampling rate t = 1 / T.

Daher kann die Gesamtzahl der Punkte G pro Sekunde durch G = m x n x T bestimmt werden. Außerdem kann die Abtastrate t entsprechend der folgenden Gleichung bestimmt werden: t = 1 / T = G / ( m × n ) .

Figure DE102019125075A1_0003
Hence the total number of points G per second can be determined by G = mxnx T. In addition, the sampling rate t can be determined according to the following equation: t = 1 / T = G / ( m × n ) .
Figure DE102019125075A1_0003

Es wird nun zusätzlich auf 4 Bezug genommen.
Dargestellt ist eine Visualisierung von Laserstrahlen gemäß den Bilddaten BD. Die Abmessungen des LIDAR-Bereichs wird durch die Länge der Laserstrahlen gemäß dem Reichweite-Datensatz RD bestimmt.
It is now additionally on 4th Referenced.
A visualization of laser beams according to the image data is shown BD . The dimensions of the LIDAR area are determined by the length of the laser beams according to the range data set RD certainly.

Wenn sich ein Laserstrahl mit einem Objekt kreuzt, würde er nicht durch das Objekt gehen. Ein Maximalwert für die Reichweite wie auch für die anderen Werte kann gemäß den LIDAR-Spezifikationen festgelegt werden, z.B. durch den Parameterdatensatz PM.If a laser beam crossed an object, it would not go through the object. A maximum value for the range as well as for the other values can be specified in accordance with the LIDAR specifications, e.g. through the parameter data set PM .

Es wird nun zusätzlich auf die 5A und 5B Bezug genommen, um die Simulation eines um seine x-Achse, d.h. seine Roll- oder Nickachse, rotierenden LIDAR-Sensors zu erläutern.It is now also applied to the 5A and 5B Reference is made to explain the simulation of a LIDAR sensor rotating about its x-axis, ie its roll or pitch axis.

Um eine Drehung um z.B. die x-Achse zu simulieren werden auch die Laserstrahlen LS1. LS2. LS3, LS4, LS5 um die x-Achse gedreht, und zwar schrittweise um einen Wert eines Drehwinkels DW1 im Uhrzeigersinn (siehe 5B). Im vorliegenden Ausführungsbeispiel erfolgt eine Drehung nur in eine Richtung.The laser beams are also used to simulate a rotation around the x-axis, for example LS1 . LS2 . LS3 , LS4 , LS5 rotated around the x-axis, step by step by a value of a rotation angle DW1 clockwise (see 5B) . In the present exemplary embodiment, rotation only takes place in one direction.

Im vorliegenden Ausführungsbeispiel emittiert der LIDAR-Sensor nur einen einzigen Laserstrahl, der um 360° gedreht wird.In the present exemplary embodiment, the LIDAR sensor only emits a single laser beam that is rotated through 360 °.

Wenn im vorliegenden Ausführungsbeispiel für den Drehwinkel DW1 ein Wert von 2° gewählt wird und für die Abtastrate t = 0,005s dauert eine volle Drehung um 360 Grad mit der Rotationszeit RT = 360° / DW1 x t = (360 / 2) x 0,005 = 0,9s. Die Gesamtzahl der Punkte G pro Sekunde wäre dann G = m x n / T =m x n x t = 1 x 64 / 0,005 = 12800 Punkte. Es ist möglich, die Gesamtanzahl der Punkte G zu erhöhen, indem man eine höhere Abtastrate wählt.If in the present embodiment for the angle of rotation DW1 a value of 2 ° is selected and for the sampling rate t = 0.005s a full rotation of 360 degrees with the rotation time RT = 360 ° / DW1 xt = (360/2) x 0.005 = 0.9s. The total number of points G per second would then be G = mxn / T = mxnxt = 1 x 64 / 0.005 = 12800 points. It is possible to have the total number of points G by choosing a higher sampling rate.

Im vorliegenden Ausführungsbeispiel wird nur ein einziger Laserstrahl simuliert um den Bedarf an Hardware und Rechnerressourcen niedrig zu halten, da so auch die Anzahl der erfassten Objekte niedrige gehalten werden kann. Abweichend vom vorliegenden Ausführungsbeispiel können aber auch mehrere Laserstrahlen zeitgleich simuliert werden.In the present embodiment, only a single laser beam is simulated around the To keep the need for hardware and computer resources low, as this also allows the number of objects to be kept low. In contrast to the present exemplary embodiment, however, several laser beams can also be simulated at the same time.

Es wird nun zusätzlich auf die 6A und 6B Bezug genommen, um die Simulation eines um seine z-Achse, d.h. seine Hochachse, rotierenden LIDAR-Sensors zu erläutern.It is now also applied to the 6A and 6B Reference is made to explain the simulation of a LIDAR sensor rotating about its z-axis, ie its vertical axis.

In analoger Art und Weise emittiert der LIDAR-Sensor nur einen einzigen Laserstrahl, der um 360° gedreht wird, und zwar schrittweise um die z-Achse um einen Wert eines Drehwinkels DW2 im Uhrzeigersinn (siehe 6B).In an analogous manner, the LIDAR sensor only emits a single laser beam that is rotated through 360 °, step by step around the z-axis by a value of a rotation angle DW2 clockwise (see 6B) .

Es ist ein Puffermechanismus erforderlich, um die Abtastdaten D, die zu der Gesamtzahl der Punkte G gehören zwischenspeichern, die dann später von einem Steuergerät des Kraftfahrzeugs verarbeitet werden. Hierzu wird der Ringspeicher 6 verwendet.A buffering mechanism is required to hold the sample data D. that add to the total number of points G include buffers, which are then processed later by a control unit of the motor vehicle. The ring buffer is used for this 6th used.

Der Ringspeicher 6 hat eine vorbestimmte Größe. Es werden die ältesten Daten gelöst, wenn neue Daten hinzukommen. Jedes Speicherelement des Ringspeichers 6 speichert die Abtastdaten D, die alle gescannten LIDAR-Punkte zu einem Zeitpunkt beinhalten.The ring buffer 6th has a predetermined size. The oldest data is released when new data is added. Each storage element of the ring buffer 6th stores the scan data D. that contain all scanned lidar points at one point in time.

Im vorliegenden Ausführungsbeispiel wird die Größe des Ringspeichers 6, d.h. seine Gesamtzahl der Speicherelemente, automatisch kalibriert. Zur Bestimmung der Speichergröße S kann z.B. folgende Formel verwendet werden mit nur einer Dreh- bzw. Schwenkachse: Speichergröße = Abtastbereich / Drehwinkel .

Figure DE102019125075A1_0004
In the present exemplary embodiment, the size of the ring memory 6th , ie its total number of storage elements, automatically calibrated. To determine the memory size S. For example, the following formula can be used with only one rotary or swivel axis: Memory size = Scanning area / Rotation angle .
Figure DE102019125075A1_0004

Wenn zwei Dreh- bzw. Schwenkachse vorliegen könnte gelten: S = HFOV / DW1 + VFOV / DW2

Figure DE102019125075A1_0005
If there could be two rotary or swivel axes: S. = HFOV / DW1 + VFOV / DW2
Figure DE102019125075A1_0005

Es wird nun zusätzlich auf 7 Bezug genommen.It is now additionally on 7th Referenced.

Im vorliegenden Ausführungsbeispiel ist vorgesehen, dass ein Laserstrahl gemäß dem Laserstrahl-Datensatz LD in der virtuellen Umgebung dem Nutzer 8 visualisiert wird.In the present embodiment it is provided that a laser beam according to the laser beam data set LD in the virtual environment to the user 8th is visualized.

Dargestellt ist eine Visualisierung von einem Laserstrahl eines LIDAR-Sensors eines Kraftfahrzeugs auf einer Straße mit Bordsteinen und einer Wasserfläche. Der Laserstrahl des LIDAR-Sensors wird um volle 360° um seine Hochachse gedreht und um 18° um seine Rollachse (x-Achse) verschwenkt mit einem Drehwinkel DW1 bzw. DW2 von 1°.What is shown is a visualization of a laser beam from a LIDAR sensor of a motor vehicle on a street with curbs and a water surface. The laser beam of the LIDAR sensor is rotated by a full 360 ° around its vertical axis and pivoted by 18 ° around its roll axis (x-axis) with an angle of rotation DW1 or. DW2 of 1 °.

Es wird nun zusätzlich auf 8 Bezug genommen.It is now additionally on 8th Referenced.

Dargestellt ist eine Visualisierung von Laserstrahlen gemäß den Bilddaten BD, die auf ein Objekt, im vorliegenden Ausführungsbeispiel ein Fußgänger, in einer virtuellen Umgebung treffen. Hierzu werden die Laserstrahlen mit einer raster- oder strahlenverfolgungsbasierten Methode (OpenGL, DirectX oder Raytracing Engine) visualisiert. Im vorliegenden Ausführungsbeispiel wird ein Shader-Code (z.B. OpenGL GLSL) implementiert, um die Visualisierung der Laserstrahlen in Echtzeit zu erreichen. Der Shader-Code verwendet 2 Knoten, einen Laserstrahlursprung am Augpunkt 12 und einen Auftreffpunkt für die Visualisierung der einzelnen Laserstrahlen. Der Shader kann in eine Game Engine, wie z.B. Unity3d oder Unreal eingebettet sein. Es ist auch möglich, die Laserstrahlen mit einem auf Raytracing basierenden Ansatz mit den gleichen Knoten zu rendern. Die Laserstrahlen werden an jedem Frame (Frame in der Computergrafik) visualisiert.A visualization of laser beams according to the image data is shown BD that hit an object, in the present exemplary embodiment a pedestrian, in a virtual environment. For this purpose, the laser beams are visualized with a grid-based or beam-tracing-based method (OpenGL, DirectX or Raytracing Engine). In the present exemplary embodiment, a shader code (eg OpenGL GLSL) is implemented in order to visualize the laser beams in real time. The shader code uses 2 nodes, a laser beam origin at the eye point 12th and a point of impact for the visualization of the individual laser beams. The shader can be embedded in a game engine such as Unity3d or Unreal. It is also possible to render the laser beams with a ray tracing based approach with the same nodes. The laser beams are visualized at each frame (frame in the computer graphics).

Die Visualisierung der Laserstrahlen ermöglicht es dem Nutzer 8, wie z.B. einem Ingenieur, mit den Laserstrahlen in der virtuellen Umgebung zu interagieren. So können der Nutzer 8, wie z.B. ein Ingenieur, ein vom LIDAR-Sensor erfasstes Objekt sehen, was eine Auswertung von Simulationsergebnissen vereinfacht.The visualization of the laser beams enables the user 8th , such as an engineer, to interact with the laser beams in the virtual environment. So the user can 8th , such as an engineer, can see an object detected by the LIDAR sensor, which simplifies the evaluation of simulation results.

Ferner können die Laserstrahlen in der virtuellen Umgebung visualisiert werden, in dem auf ein Objekt auftreffende Laserstrahlen als ein 3D-Objekt, Netz oder Linie zusammengefasst und so dargestellt werden.Furthermore, the laser beams can be visualized in the virtual environment, in which the laser beams striking an object are combined as a 3D object, network or line and thus displayed.

Es wird nun zusätzlich auf 9 Bezug genommen.It is now additionally on 9 Referenced.

Dargestellt ist eine Visualisierung Bilddaten BD.A visualization of image data is shown BD .

Im vorliegenden Ausführungsbeispiel ist vorgesehen, dass der Nutzer 8 das HMI 10 in der virtuellen Umgebung nutzen kann.In the present embodiment it is provided that the user 8th the HMI 10 can use in the virtual environment.

Hierzu ist das System 2 dazu ausgebildet, den LIDAR-Sensor mit einem Desktop-Computer über die Menüs mit Tastatur und Maus zu konfigurieren. Dies ist jedoch nicht möglich, wenn VR-Hardware verwendet wird, z.B. wenn der Nutzer 8, wie z.B. ein Ingenieur, das als HMD ausgebildete HMI auf seinem Kopf trägt.The system is for this 2 trained to configure the LIDAR sensor with a desktop computer using the keyboard and mouse menus. However, this is not possible if VR -Hardware is used, e.g. when the user 8th , such as an engineer who wears an HMI trained as an HMD on his head.

Mit anderen Worten, das HMI ist ein virtuelles HMI in der virtuellen Umgebung für einen sich in der virtuellen Umgebung befindlichen Nutzer 8, mit dem der Nutzer 8, in der virtuellen Umgebung repräsentiert durch seinen Avatar 14, verschiedene Eingaben tätigen kann. Mit dem HMI 10 kann auch der Parameterdatensatz PM eingegeben oder auch geändert werden.In other words, the HMI is a virtual HMI in the virtual environment for you to be in the virtual environment 8th with which the user 8th , represented in the virtual environment by his avatar 14th can make various entries. With the HMI 10 can also be the parameter data set PM entered or changed.

Es wird nun unter zusätzlicher Bezugnahme auf 10 ein Verfahrensablauf zum Betrieb des Systems 2 erläutert.It will now be made with additional reference to FIG 10 a procedure for operating the system 2 explained.

In einem ersten Schritt S100 liest das System 2 den VR-Datensatz VR repräsentativ für die virtuelle Umgebung ein.In a first step S100 reads the system 2 the VR -Record VR representative of the virtual environment.

In einem weiteren Schritt S200 liest das System 2 den Parameterdatensatz PM zur Parametrisierung des LIDAR-Sensor-Simulationsmoduls 4 ein.In a further step S200 reads the system 2 the parameter data set PM for parameterization of the LIDAR sensor simulation module 4th on.

In einem weiteren Schritt S300 erzeugt das LIDAR-Sensor-Simulationsmodul 4 den Laserstrahl-Datensatz LD repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahl LS1, LS2, LS3, LS4, LS5 unter Verwendung des Parameterdatensatzes PM.In a further step S300 generates the LIDAR sensor simulation module 4th the laser beam data set LD representative of a laser beam emitted by the LIDAR sensor LS1 , LS2 , LS3 , LS4 , LS5 using the parameter data set PM .

In einem weiteren Schritt S400 erzeugt das LIDAR-Sensor-Simulationsmodul 4 ferner den Reichweite-Datensatz RD repräsentativ für eine Reichweite des Laserstrahles LS1, LS2, LS3, LS4, LS5 unter Auswertung des VR-Datensatzes VR und des Laserstrahl-Datensatzes LD durch Raytracing.In a further step S400 generates the LIDAR sensor simulation module 4th also the range data record RD representative of a range of the laser beam LS1 , LS2 , LS3 , LS4 , LS5 evaluating the VR Record VR and the laser beam data set LD through ray tracing.

In einem weiteren Schritt S500 kombiniert im vorliegenden Ausführungsbeispiel das LIDAR-Sensor-Simulationsmodul 4 den VR-Datensatz VR mit dem Laserstrahl-Datensatz LD und dem Reichweite-Datensatz RD um die Bilddaten BD zu erzeugen.In a further step S500 combines the LIDAR sensor simulation module in the present exemplary embodiment 4th the VR -Record VR with the laser beam data set LD and the reach data set RD around the image data BD to create.

Dabei kann der Parameterdatensatz PM einen statischen LIDAR-Sensor parametrisieren mit einem horizontalen Abtastbereich HFOV und/oder einem vertikalen Abtastbereich VFOV und/oder einer maximale Reichweite und/oder einer Abtastrate t.The parameter data record PM parameterize a static LIDAR sensor with a horizontal scanning range HFOV and / or a vertical scan area VFOV and / or a maximum range and / or a sampling rate t .

Alternativ kann der Parameterdatensatz PM einen rotierenden LIDAR-Sensor parametrisieren, wobei der Laserstrahl-Datensatz LD dann repräsentativ für einen rotierenden Laserstrahl LS1, LS2, LS3, LS4, LS5 ist.Alternatively, the parameter data record PM parameterize a rotating LIDAR sensor, with the laser beam data set LD then representative of a rotating laser beam LS1 , LS2 , LS3 , LS4 , LS5 is.

Die Abtastdaten D repräsentativ für Abtastpunkte des LIDAR-Sensors werden dabei in dem Ringspeicher 6 zwischengespeichert. Des Weiteren wird ein Laserstrahl LS1, LS2, LS3, LS4, LS5 gemäß dem Laserstrahl-Datensatz LD in der virtuellen Umgebung dem Nutzer 8 visualisiert. Ferner kann der Nutzer 8 ein HMI 10 in der virtuellen Umgebung nutzen, um so verschiedene Eingaben tätigen zu können, wie z.B. den Parameterdatensatz PM eingeben oder auch ändern.The scan data D. are representative of the sampling points of the LIDAR sensor in the ring memory 6th cached. Furthermore, a laser beam is used LS1 , LS2 , LS3 , LS4 , LS5 according to the laser beam data set LD in the virtual environment to the user 8th visualized. Furthermore, the user can 8th an HMI 10 in the virtual environment in order to be able to make various entries, such as the parameter data set PM enter or change.

Abweichend vom vorliegenden Ausführungsbeispiel kann die Reihenfolge der Schritte auch eine andere sein. Ferner können mehrere Schritte auch zeitgleich bzw. simultan ausgeführt werden. Des Weiteren können auch abweichend vom vorliegenden Ausführungsbeispiel einzelne Schritte übersprungen oder ausgelassen werden.In a departure from the present exemplary embodiment, the sequence of the steps can also be different. Furthermore, several steps can also be carried out at the same time or simultaneously. Furthermore, different from the present exemplary embodiment, individual steps can also be skipped or omitted.

So kann eine computerimplementierte Simulation eines LIDAR-Sensors in einer virtuellen Umgebung verbessert werden.In this way, a computer-implemented simulation of a LIDAR sensor in a virtual environment can be improved.

BezugszeichenlisteList of reference symbols

22
Systemsystem
44th
LIDAR-Sensor-SimulationsmodulLIDAR sensor simulation module
66th
RingspeicherRing buffer
88th
NutzerUsers
1010
HMIHMI
1212th
AugpunktEye point
1414th
Avatar Avatar
BDBD
BilddatenImage data
DD.
AbtastdatendatenSample data
DW1DW1
DrehwinkelRotation angle
DW2DW2
DrehwinkelRotation angle
GG
Gesamtzahl der AbtastpunkteTotal number of sample points
HFOVHFOV
horizontaler Abtastbereichhorizontal scanning area
LDLD
Laserstrahl-DatensatzLaser beam data set
LS1LS1
Laserstrahllaser beam
LS2LS2
Laserstrahllaser beam
LS3LS3
Laserstrahllaser beam
LS4LS4
Laserstrahllaser beam
LS5LS5
Laserstrahllaser beam
mm
Anzahl der horizontalen LaserstrahlenNumber of horizontal laser beams
nn
Anzahl der vertikalen LaserstrahlenNumber of vertical laser beams
PMPM
ParameterdatensatzParameter data set
RDRD
Reichweite-DatensatzReach record
RTRT
RotationszeitRotation time
SS.
SpeichergrößeMemory size
SW1SW1
StartwinkelStarting angle
SW2SW2
StartwinkelStarting angle
tt
Abtastratesampling rate
TT
ZeitschrittweiteTime increment
VFOVVFOV
vertikaler Abtastbereichvertical scanning area
VRVR
VR-DatensatzVR dataset
S100S100
Schrittstep
S200S200
Schrittstep
S300S300
Schrittstep
S400S400
Schrittstep
S500S500
Schrittstep

Claims (13)

Verfahren zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung, mit den Schritten: (S100) Einlesen eines VR-Datensatzes (VR) repräsentativ für die virtuelle Umgebung, (S200) Einlesen eines Parameterdatensatzes (PM) zur Parametrisierung eines LIDAR-Sensor-Simulationsmoduls (4), (S300) Erzeugen eines Laserstrahl-Datensatzes (LD) repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahl (LS1, LS2, LS3, LS4, LS5) unter Verwendung des LIDAR-Sensor-Simulationsmoduls (4) und des Parameterdatensatzes (PM), (S400) Bestimmen eines Reichweite-Datensatzes (RD) repräsentativ für eine Reichweite des Laserstrahles (LS1, LS2, LS3, LS4, LS5) unter Auswertung des VR-Datensatzes (VR) und des Laserstrahl-Datensatzes (LD) durch Raytracing, und (S500) Erzeugen von Bilddaten (BD) repräsentativ für die virtuelle Umgebung durch Kombinieren des VR-Datensatzes (VR) mit dem Laserstrahl-Datensatz (LD) und dem Reichweite-Datensatz (RD).Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment, with the steps: (S100) Reading in a VR data record (VR) representative of the virtual environment, (S200) Reading in a parameter data set (PM) for the parameterization of a LIDAR sensor simulation module (4), (S300) Generating a laser beam data set (LD) representative of a laser beam (LS1, LS2, LS3, LS4, LS5) emitted by the LIDAR sensor using the LIDAR sensor simulation module (4) and the parameter data set (PM), (S400) determining a range data record (RD) representative of a range of the laser beam (LS1, LS2, LS3, LS4, LS5) by evaluating the VR data record (VR) and the laser beam data record (LD) by ray tracing, and (S500) Generating image data (BD) representative of the virtual environment by combining the VR data set (VR) with the laser beam data set (LD) and the range data set (RD). Verfahren nach Anspruch 1, wobei der Parameterdatensatz (PM) einen statischen LIDAR-Sensor parametrisiert mit einem horizontalen Abtastbereich (HFOV) und/oder einem vertikalen Abtastbereich (VFOV) und/oder einer maximale Reichweite und/oder einer Abtastrate (t).Procedure according to Claim 1 , the parameter data set (PM) parameterizing a static LIDAR sensor with a horizontal scanning area (HFOV) and / or a vertical scanning area (VFOV) and / or a maximum range and / or a scanning rate (t). Verfahren nach Anspruch 1 oder 2, wobei der Parameterdatensatz (PM) einen rotierenden LIDAR-Sensor parametrisiert, wobei der Laserstrahl-Datensatz (LD) repräsentativ für einen rotierenden Laserstrahl (LS1, LS2, LS3, LS4, LS5) ist.Procedure according to Claim 1 or 2 , the parameter data set (PM) parameterizing a rotating LIDAR sensor, the laser beam data set (LD) being representative of a rotating laser beam (LS1, LS2, LS3, LS4, LS5). Verfahren nach Anspruch 3, wobei Abtastdaten (D) repräsentativ für Abtastpunkte des LIDAR-Sensors in einem Ringspeicher (6) zwischengespeichert werden.Procedure according to Claim 3 , wherein sampling data (D) representative of sampling points of the LIDAR sensor are temporarily stored in a ring memory (6). Verfahren nach einem der Ansprüche 1 bis 4, wobei gemäß dem Laserstrahl-Datensatz (LD) ein Laserstrahl (LS1, LS2, LS3, LS4, LS5) in der virtuellen Umgebung einem Nutzer (8) visualisiert wird.Method according to one of the Claims 1 to 4th , a laser beam (LS1, LS2, LS3, LS4, LS5) being visualized to a user (8) in the virtual environment according to the laser beam data set (LD). Verfahren nach einem der Ansprüche 1 bis 5, wobei ein Nutzer (8) ein HMI (10) in der virtuellen Umgebung nutzen kann.Method according to one of the Claims 1 to 5 , wherein a user (8) can use an HMI (10) in the virtual environment. Computerprogrammprodukt, ausgebildet zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 6.Computer program product designed to carry out a method according to one of the Claims 1 to 6th . System (2) zur computerimplementierten Simulation eines LIDAR-Sensors in einer virtuellen Umgebung, wobei das System (2) dazu ausgebildet ist, einen VR-Datensatz (VR) repräsentativ für die virtuelle Umgebung einzulesen, einen Parameterdatensatz (PM) zur Parametrisierung eines LIDAR-Sensor-Simulationsmoduls (4) des Systems (2) einzulesen, einen Laserstrahl-Datensatz (LD) repräsentativ für einen von dem LIDAR-Sensor emittierten Laserstrahls (LS1, LS2, LS3, LS4, LS5) unter Verwendung des LIDAR-Sensor-Simulationsmoduls und des Parameterdatensatzes (PM) zu erzeugen ,einen Reichweite-Datensatz (RD) repräsentativ für eine Reichweite des Laserstrahles (LS1, LS2, LS3, LS4, LS5) unter Auswertung des VR-Datensatzes (VR) und des Laserstrahl-Datensatzes (LD) durch Raytracing zu bestimmen und zum erzeugen von Bilddaten (BD) repräsentativ für die virtuelle Umgebung durch Kombinieren des VR-Datensatzes (VR) mit dem Laserstrahl-Datensatz (LD) und dem Reichweite-Datensatz (RD).System (2) for the computer-implemented simulation of a LIDAR sensor in a virtual environment, the system (2) being designed to read in a VR data record (VR) representative of the virtual environment, a parameter data record (PM) for the parameterization of a LIDAR Sensor simulation module (4) of the system (2) to read in a laser beam data set (LD) representative of a laser beam (LS1, LS2, LS3, LS4, LS5) emitted by the LIDAR sensor using the LIDAR sensor simulation module and of the parameter data set (PM) to generate a range data set (RD) representative of a range of the laser beam (LS1, LS2, LS3, LS4, LS5) by evaluating the VR data set (VR) and the laser beam data set (LD) Determine ray tracing and generate image data (BD) representative of the virtual environment by combining the VR data set (VR) with the laser beam data set (LD) and the range data set (RD). System (2) nach Anspruch 8, wobei der Parameterdatensatz (PM) einen statischen LIDAR-Sensor parametrisiert mit einem horizontalen Abtastbereich (HFOV) und/oder einem vertikalen Abtastbereich (VFOV) und/oder einer maximale Reichweite und/oder einer Abtastrate (t).System (2) according to Claim 8 , the parameter data set (PM) parameterizing a static LIDAR sensor with a horizontal scanning area (HFOV) and / or a vertical scanning area (VFOV) and / or a maximum range and / or a scanning rate (t). System (2) nach Anspruch 8 oder 9, wobei der Parameterdatensatz (PM) einen rotierenden LIDAR-Sensor parametrisiert, wobei der Laserstrahl-Datensatz (LD) repräsentativ für einen rotierenden Laserstrahl (LS1, LS2, LS3, LS4, LS5) ist.System (2) according to Claim 8 or 9 , the parameter data set (PM) parameterizing a rotating LIDAR sensor, the laser beam data set (LD) being representative of a rotating laser beam (LS1, LS2, LS3, LS4, LS5). System (2) nach Anspruch 8, 9 oder 10, wobei das System (2) einen Ringspeicher (6) zum Zwischenspeichern von Abtastdaten (D) repräsentativ für Abtastpunkte des LIDAR-Sensors aufweist.System (2) according to Claim 8 , 9 or 10 , the system (2) having a ring memory (6) for temporarily storing scan data (D) representative of scan points of the LIDAR sensor. System (2) nach einem der Ansprüche 8 bis 11, wobei das System (2) dazu ausgebildet ist gemäß dem Laserstrahl-Datensatz (LD) einen Laserstrahl (LS1, LS2, LS3, LS4, LS5) in der virtuellen Umgebung einem Nutzer (8) zu visualisieren.System (2) according to one of the Claims 8 to 11 , the system (2) being designed to visualize a laser beam (LS1, LS2, LS3, LS4, LS5) in the virtual environment for a user (8) in accordance with the laser beam data set (LD). System (2) nach einem der Ansprüche 8 bis 12, wobei das System (2) dazu ausgebildet ist, dass ein Nutzer (8) ein HMI (10) in der virtuellen Umgebung nutzen kann.System (2) according to one of the Claims 8 to 12th , the system (2) being designed so that a user (8) can use an HMI (10) in the virtual environment.
DE102019125075.7A 2019-09-18 2019-09-18 Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment Pending DE102019125075A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102019125075.7A DE102019125075A1 (en) 2019-09-18 2019-09-18 Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment
CN202010973580.8A CN112530022A (en) 2019-09-18 2020-09-16 Method for computer-implemented simulation of LIDAR sensors in a virtual environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019125075.7A DE102019125075A1 (en) 2019-09-18 2019-09-18 Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment

Publications (1)

Publication Number Publication Date
DE102019125075A1 true DE102019125075A1 (en) 2021-03-18

Family

ID=74686272

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019125075.7A Pending DE102019125075A1 (en) 2019-09-18 2019-09-18 Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment

Country Status (2)

Country Link
CN (1) CN112530022A (en)
DE (1) DE102019125075A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895316A (en) * 2022-07-11 2022-08-12 之江实验室 Rapid numerical simulation method and device for multi-laser radar ranging

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116577762B (en) * 2023-07-12 2023-10-31 西安深信科创信息技术有限公司 Simulation radar data generation method, device, equipment and storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895316A (en) * 2022-07-11 2022-08-12 之江实验室 Rapid numerical simulation method and device for multi-laser radar ranging
CN114895316B (en) * 2022-07-11 2022-10-28 之江实验室 Rapid numerical simulation method and device for multi-laser radar ranging

Also Published As

Publication number Publication date
CN112530022A (en) 2021-03-19

Similar Documents

Publication Publication Date Title
DE102017107396B4 (en) Test procedure and test device for driver assistance systems
DE102017213217A1 (en) Test scenario database system for realistic virtual test driving scenarios
EP1701233B1 (en) Generation of virtual worlds based on a real environment
DE102016119128A1 (en) Lane boundary detection data generation in virtual environment
DE102005061952A1 (en) Method and system for determining inaccuracy information in an augmented reality system
DE102018200011A1 (en) Test system and method for testing a control of an at least partially autonomous vehicle in a virtual environment
EP2325725A1 (en) Method for producing an effect on virtual objects
DE102019125075A1 (en) Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment
DE102019215903A1 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular of a vehicle, method for training and method for actuation
DE102021101270A1 (en) TRAINING A NEURAL NETWORK OF A VEHICLE
WO2021110412A1 (en) Display method for displaying a surroundings model of a vehicle, computer program, controller, and vehicle
JP4841903B2 (en) Driving simulator
Gilad et al. Quantifying driver's field-of-view in tractors: methodology and case study
WO2013034133A1 (en) Interaction with a three-dimensional virtual scenario
DE102014208352A1 (en) System and method for instructing a subscriber of a driver training
EP3931524A1 (en) Construction of formwork and scaffolding using mobile devices
DE102019125612A1 (en) Method for the computer-implemented simulation of an optical sensor in a virtual environment
DE102022202563B3 (en) Planning a trajectory of a robot
EP3534240A1 (en) Method and device for data annotation
DE102019201134B4 (en) Method, computer program with instructions and system for measuring augmented reality glasses and augmented reality glasses for use in a motor vehicle
DE102019130032B4 (en) Method, computer program product and system for generating an image data set for a computer-implemented simulation
DE102022202569B3 (en) Checking a given path of a robot
DE102006014546B4 (en) Method and device for sensor-based monitoring of an environment
DE102022104134B4 (en) Method and processor circuit and computer program for controlling data glasses for route-adaptive playback of a sequence of predetermined events in a virtual environment while driving a motor vehicle and associated data glasses
WO2013057192A1 (en) Method for surveying and visually displaying the physical circumstances of a production plant

Legal Events

Date Code Title Description
R083 Amendment of/additions to inventor(s)