EP4591092A1 - System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten - Google Patents

System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten

Info

Publication number
EP4591092A1
EP4591092A1 EP23773291.2A EP23773291A EP4591092A1 EP 4591092 A1 EP4591092 A1 EP 4591092A1 EP 23773291 A EP23773291 A EP 23773291A EP 4591092 A1 EP4591092 A1 EP 4591092A1
Authority
EP
European Patent Office
Prior art keywords
simulated
measurement data
data
virtual
property
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23773291.2A
Other languages
English (en)
French (fr)
Inventor
Christian Schüßler
Marcel Hoffmann
Martin Vossiek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rohde and Schwarz GmbH and Co KG
Original Assignee
Rohde and Schwarz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rohde and Schwarz GmbH and Co KG filed Critical Rohde and Schwarz GmbH and Co KG
Publication of EP4591092A1 publication Critical patent/EP4591092A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/006—Theoretical aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes

Definitions

  • the present invention relates to a system for detecting, classifying and/or segmenting an object and/or a property of an object with a simulation unit and an artificial intelligence unit, wherein the simulation unit is designed to transmit simulated measurement data from a simulated sensor unit via a virtual object and/or a property of a virtual object in a virtual environment and to annotate the virtual object, the property of the virtual object and/or the virtual environment and to generate simulation data therefrom.
  • SBR Shooting and Bouncing Rays
  • a beam TR emanating from a transmitting antenna T is reflected at the facets F and is received by the receiving antenna R.
  • a computationally efficient variant of simulating radar data is to describe the object using so-called scatter targets. These scatter target models can be created through measurements or through a more complex SBR simulation.
  • a significant disadvantage of this technology is that scattering centers have to be calculated or measured individually for each object and effects such as occlusion or multiple reflections cannot be simulated or can only be simulated to a very limited extent, which overall makes a realistic simulation more difficult.
  • artificial intelligence is used in the area of detection and classification of objects in the automotive radar environment.
  • the spectrum of applications ranges from the simple detection of objects to their classification, which often takes place using the Doppler spectrum.
  • Machine learning algorithms i.e. artificial intelligence, are also used to improve the angular resolution.
  • Radar data can only be effectively classified using expert knowledge, as it differs greatly from natural images and is therefore difficult for humans to interpret. However, even with expert knowledge, not all radar image effects can be correctly classified.
  • a single object can also show several target detections in the radar image, which are geographically far apart from each other.
  • Another way to generate ground truth data is to annotate it automatically.
  • This type of learning is often referred to as self-supervised. It is known to annotate processed radar point clouds semi-automatically using a lidar sensor and/or a camera sensor.
  • GPS or odometry sensors can also be used as a reference, for example in lane estimation or road course estimation.
  • simulations are only used to a very limited extent for the classification of individual objects.
  • the present invention is based on the object of improving an aforementioned system, particularly with regard to the annotation of objects.
  • the artificial intelligence unit is designed to, on the basis of the simulated measurement data and the simulation data, an object and/or a property of an object based on the simulated measurement data or based on other simulated measurement data and/or to detect, classify and/or segment based on measurement data generated from a real measurement.
  • the system is preferably designed for annotation and subsequent optimal training of the artificial intelligence unit.
  • the annotation is preferably carried out in the simulation unit.
  • a property of a virtual object is preferably any type of information associated with the object, such as a vectorial velocity, preferably of each pixel or ray striking the object, noise and/or sidelobes emanating from the object, temperature, material properties, color etc.
  • Annotation preferably refers to the process of giving an object or a pixel or an image area a label or a name, which can be interpreted by an artificial intelligence unit, particularly in a training process.
  • the artificial intelligence unit is preferably designed to recognize common features of objects, pixels or image areas.
  • Detection preferably refers to the process of recognizing an object and/or a property of an object. For example, detection can be used to determine whether an object is a person or a car.
  • Classification preferably refers to the process of assigning an object and/or a property of an object to a class. There can be a probability The speed with which an object can be assigned to a class can be specified. For example, through classification, an object can be assigned to the class “human” with a probability of 96%.
  • Segmentation preferably refers to the process of dividing an object into segments, such as pixels, with each segment being detected and/or classified.
  • the simulation unit is designed to simulate more than one virtual object with more than one property and/or is designed to simulate the virtual object and/or the property of the virtual object or the virtual objects and/or the properties to fully annotate the virtual objects and/or the virtual environment.
  • the system further has means by means of which the virtual object is generated and/or the virtual environment is generated using 3D information generated from a game engine or based on map information, aerial images, earth remote sensing information and/or measurement data from a camera system and/or a laser scanner or other sensor systems.
  • the simulated sensor unit is modeled on a real sensor unit and/or that the simulated sensor unit is improved compared to a real sensor unit, in particular with regard to resolution, signal-to-noise ratio and/or uniqueness ranges.
  • the simulated sensor unit simulates a radar, a camera, a lidar and/or an ultrasound device.
  • the simulated, other simulated or measurement data generated from a real measurement are image data and/or that the artificial intelligence unit is designed to enhance raw and processed or processed sensor signals in the measurement data.
  • the environment is a dynamic, three-dimensional environment.
  • the system or the artificial intelligence unit is part of a vehicle and/or that the measurement data generated from the real measurement was generated by a radar, a camera, a lidar and/or an ultrasound device.
  • image recognition can be achieved through annotation.
  • At least one object preferably as diverse a dynamic 3D scene as possible, is simulated, for example in a game engine or based on map information or measurement data from camera systems and / or laser scanners or other sensors of a real scene or one real setups.
  • radars are preferably subsequently simulated, which, based on their position in space and their simulated antennas, send radar signals into this world using a ray tracing approach and receive and evaluate the reflections, whereby digital radar ADC Data can be simulated.
  • the simulated world and the simulated signal are preferably so realistic that the simulated signal is as similar as possible to a real signal.
  • the labels or annotations for the radar data can be created directly and comprehensively.
  • This radar data including the label can be used for training an artificial intelligence (AI), for example a neural network, for example for object detection, object classification, segmentation or image enhancement.
  • AI artificial intelligence
  • a neural network for example for object detection, object classification, segmentation or image enhancement.
  • the simulated object and/or the simulated worlds are simulated once with and once without disruptive effects.
  • neural networks can be trained that largely suppress these disruptive effects in reality.
  • the real-life radar is simulated as a “Digital Twin” and the other is a significantly improved “Advanced Digital Twin”.
  • This can, for example, have a significantly larger or more fully populated antenna array in order to simulate radar images with better angular resolution. If you now train a neural network or an AI with the simulation data from the “Digital Twin” and the “Advanced Digital Twin”, the AI can improve the real radar measurement data, especially with regard to resolution, signal-to-noise ratio, uniqueness ranges, etc.
  • each ray of the ray tracing approach When reflected, each ray of the ray tracing approach preferably receives the object ID of the object on which it was reflected as an additional attribute. This makes it possible to completely assign every partial echo of an object to this object. This attribute therefore preferably corresponds to an optimal label or an optimal annotation.
  • AI applications for example for object classification, can be optimally trained because the network learns to use all information from the entire (frequency) spectrum.
  • the simulated worlds preferably reflect reality as closely as possible by using existing data sets from earth remote sensing, map services or aerial photographs. It is conceivable that the simulated worlds are generated from real measurement data. For example, data from a measurement trip with high-resolution laser scanners can be accumulated in such a way that the real world can be recreated in the form of triangular networks (or similar).
  • lidar, camera or ultrasound signals are simulated instead of the radar signal.
  • any objects or more comprehensive scenes or worlds are simulated in a targeted manner in a simulation environment.
  • radar ADC data or other sensor raw data that is as close to reality as possible are then generated in this simulation environment using ray tracing approaches.
  • each simulated beam (ray) is assigned one or more attributes that describe and identify all objects on which this beam was reflected or with which this beam interacted.
  • the movement of an object can be recorded directly in maximum detail in the form of a speed vector for each reflection point or each beam.
  • a speed vector for each reflection point or each beam For example, pedestrians do not have a single speed because every point on their body moves individually. The arms swing, one leg stands, the torso moves relatively constantly, etc. It is precisely this micro-Doppler signature, i.e. the interaction of all speeds, that can be easily evaluated by a radar and can be annotated or labeled completely correctly.
  • the sensor data can, for example, be interpreted, classified, segmented, or otherwise described.
  • radar data with improved properties, such as resolution and uniqueness ranges, as well as with drastically reduced interference effects can also be generated.
  • This allows the parameters of machine learning algorithms to be trained automatically, i.e. self-supervised, in such a way that they significantly improve the output data of real sensors, for example through super-resolution and noise suppression.
  • the invention also relates to a method for detecting, classifying and/or segmenting an object and/or a property of an object with a system according to one of the preceding claims with the following steps: a) generating simulated measurement data from a simulated sensor unit via a virtual object and /or a property of a virtual object in a virtual environment; b) annotating the virtual object, the property of the virtual object and/or the virtual environment and generating simulation data, based on the simulated measurement data and the simulation data, an object and/or a property of an object based on the simulated measurement data or based on is detected, classified and/or segmented from other simulated measurement data and/or based on measurement data generated from a real measurement.
  • the invention also relates to a method for training an artificial intelligence unit of a system according to one of claims 1 to 8, wherein the artificial intelligence! ntelligence unit is trained for this purpose on the basis of simulated measurement data and the simulation data, an object and/or a property of an object on the basis of the simulated measurement data or on the basis of other simulated measurement data and/or on the basis of measurement data generated from a real measurement to detect, classify and/or segment.
  • An artificial intelligence unit is preferably trained on the basis of simulated data.
  • the artificial intelligence unit can then preferably interpret or improve real or simulated measurement data.
  • the virtual object and/or the virtual environment can be modeled on a real object and/or a real environment.
  • the method preferably provides a complete annotation of the virtual object, the property of the virtual object and/or the virtual environment. This is done, for example, through object IDs. Any reflection on a ray's path or any movement information is preferably annotated. For example, a beam is first reflected on a static house wall and then on a pedestrian's arm swinging at 3 m/s. This information is retained in the annotation.
  • the invention also relates to a computer program which comprises instructions which cause the system according to the invention to carry out the method steps of a method according to the invention.
  • the invention also relates to a computer-readable medium on which the computer program according to the invention is stored.
  • the terms "a” and “an” do not necessarily refer to exactly one of the elements, although this is a possible embodiment, but can also refer to a plurality of the elements.
  • the use of the plural also includes the presence of the element in question in the singular and, conversely, the singular also includes several of the elements in question.
  • all features of the invention described herein can be combined with one another as desired or claimed in isolation from one another.
  • Fig. 1 a block diagram of an embodiment of a system according to the invention.
  • Fig. 3 a view of a real measurement scene (left) and a view of a three-dimensional replica of this measurement scene (right).
  • Fig. 4 a beam pattern from a known simulation method (left) and a beam pattern from an embodiment of a simulation method according to the invention (right).
  • Fig. 5 a view of a three-dimensional replica of a measurement scene (left), a view of a radar image based on it (middle) and a view of an extended radar image based on it (right).
  • Fig. 6 a view of a real measurement scene (left), a view of a radar image based on it (middle) and a view of an extended radar image based on it (right).
  • Fig. 7 a view of an antenna arrangement.
  • Fig. 8 a schematic view of an antenna arrangement.
  • Fig. 1 shows a block diagram of a system according to the invention with a radar system 10, or a “radar system” 10, a digital twin 20, or a “digital twin” 20, an improved digital twin 30, or an “advanced digital twin” 30 and an artificial intelligence 50, or a “deep neural network (DNN)” 50.
  • a radar system or a “radar system” 10
  • a digital twin or a “digital twin” 20
  • an improved digital twin 30 or an “advanced digital twin” 30 and an artificial intelligence 50
  • DNN deep neural network
  • the output from the system is an extended radar image 40, or an “enhanced radar image”.
  • the units of the system can be grouped into units in reality 100 and units in virtual space 200.
  • the radar system 10 and the extended radar image 40 are in reality 100 and the digital twin 20 and the improved digital twin 30 are in virtual space 200.
  • the artificial intelligence mediates between reality 100 and virtual space 200.
  • the artificial intelligence unit can be an attention U-net trained on 9000 images for a regression task.
  • 3D maps can be exported from an open source simulator, i.e. a simulation unit.
  • This data consists of triangle meshes common in the fields of computer graphics, game development, and computer aided design (CAD).
  • each triangle or object can be assigned a material. This material mainly determines the reflection properties of the radar signal.
  • These triangular meshes can not only be exported from existing simulators, but 3D data from game engines or computer games can also be used directly.
  • realistic 3D data can be generated from map services using appropriate software. It is also possible to create an accurate image of the real environment from the data from high-resolution lidar sensors or based on photogrammetry. With appropriate effort, an enormous and theoretically unlimited amount of 3D environmental data can be generated.
  • FIG. 3 A replica of a real measurement scene using a 3D graphics program is shown in FIG. 3.
  • the real measurement scene 101 and a measurement scene 201 modeled on this measurement scene 101 can be seen in a simulation environment.
  • Moving objects can also be exported using animations, for example, or created yourself using 3D graphics programs.
  • the simulator preferably supports diffuse and metal-like reflections, Doppler simulations and animations, occlusion and multipath effects, MIMO apertures with flexible radar parameters and/or any third-party 3D meshes.
  • a simulative generation of objects and/or scenes takes place in step S1.
  • step S2 simulation of raw sensor data.
  • the simulator works very similarly to the well-known SBR principle, in which radar beams (rays) are emitted from predefined transmitting antennas, which in turn are reflected by the environment (triangular networks) until they hit a receiving antenna defined as a sphere.
  • An IF signal can be generated from the beams received in this way based on the beam length and echo energy or amplitude.
  • Equation (1) describes this using an FMCW signal as an example. This process can be transferred to OFDM, CW, pulse or other radars or modulation types. Equation (1 )
  • the simulator is based on a statistical approach, which reflects beams in a statistically distributed manner.
  • These material models are particularly well-established in ray tracing methods in computer graphics, as they are well suited to describing complex surface properties such as roughness and diffuse scattering. Since the signal propagation in automobile radars increasingly behaves like optical beams due to the high transmission frequencies of around 77 to around 300 GHz, effects such as diffraction can increasingly be neglected. In the simulator, these material models can therefore represent the environment very realistically.
  • the simulation of moving objects or the simulation of Doppler or micro-Doppler signatures can be made possible by first scanning the environment with an initial simulation and storing the corresponding beam hits in the memory. In the subsequent Doppler simulations, radar beams are then sent to exactly the same positions. If the beams for each Doppler snapshot were always sent randomly and thus to slightly different positions, this would lead to phase distortions in the Doppler spectrum, which would hardly make any meaningful use possible.
  • the annotation preferably already contains information about the movement of the object.
  • annotations or labels for the movement can be created directly. This can be done in great detail for a person, for example.
  • Each reflection point preferably has its own, in particular vectorial, speed information. This information is significantly improved over the information that an object is moving at a certain speed.
  • a perfect annotation of the micro-Doppler signature is preferably generated. This is not possible in the prior art and is particularly valuable for radar systems, since typically the micro-Doppler signature is primarily used in artificial intelligence applications to classify and/or segment.
  • 5 now shows a view of a three-dimensional replica of a measurement scene 201, a view of a radar image 215 based thereon and a view of an extended radar image 240 based thereon.
  • FIG. 6 shows a view of a real measurement scene 101, a view of a radar image 115 based thereon and a view of an extended radar image 140 based thereon.
  • each radar beam is associated with each triangle and object and stored, and its length can be adjusted later in the IF signal generation. This procedure was implemented for radar simulations based on the image approach and is referred to there as dynamic ray tracing.
  • Fig. 7 An efficient simulation of several antennas is shown schematically. To avoid phase errors, the transmitted beams from all antennas and in each simulation step (chirp) can be calculated so that they hit the triangle at the same point. This is shown in Figure 7. The beam TF emitted by the transmitting antenna T hits the facet F at the same point as the beam TR1 emitted by the transmitting antenna T. Only the beam TR1 is further simulated. For further optimization it is sufficient to simulate only one antenna combination and calculate the beam length for all other antennas.
  • a similar optimized approach can be used for large antenna arrays. Instead of simulating all antenna combinations, only a single antenna can be simulated and the beam length for all other combinations can be calculated. With appropriate computer hardware, any number of very realistic radar simulations with any parameters can be generated.
  • the first step is to build a digital twin in the simulation environment.
  • Antenna configuration relevant hardware properties and signal parameters are preferably realistically adopted for the simulation.
  • influences from the antenna characteristics or calibration artifacts can also be taken into account.
  • the improved digital twin can improve noise reduction by annotating noise components, side lobes, etc.
  • Digital twins can be used for more than just the classification or segmentation of data. They can also be used to improve overall raw data signal processing. This includes, among other things:
  • a signal improvement can be achieved by not only simulating radar data sets that are as close as possible to the real sensor.
  • a sensor is additionally simulated that has a higher resolution, for example through a larger antenna array, and whose simulated hardware and simulated world is free of the above-mentioned artifacts and interference.
  • a higher resolution can be achieved, for example, by simulating significantly more antennas than in the original sensor.
  • the number of antennas can be higher than would be possible with any real sensor. Interference caused by multipath propagation, such as multipath reflections, can be eliminated by limiting the number of possible beam reflections.
  • the other artifacts and disturbances described can be eliminated in a similar way.
  • the additionally simulated sensor can be referred to as an Advanced Digital Twin.
  • any artificial intelligence can be trained to improve the data from the digital twin.
  • each received beam can be associated with its environment, in which it reflects from the environment until it hits a receiving antenna.
  • Each beam can carry any metadata, such as the beam travel time or the beam energy.
  • this metadata is a list of object identifiers (object IDs), which indicate, for example, which specific object a beam was reflected from and preferably all information, such as vectorial speed, preferably of each pixel or beam, noise, temperature, Material property and/or color required for labeling or annotation expanded.
  • object IDs object identifiers
  • the data can therefore be annotated in such a way that not only different object classes, such as pedestrians and cyclists, can be distinguished from one another using the labels, but also individual objects of the same object class, such as individual pedestrians.
  • IF signals can be created for each individual object before the actual processing, which are thus in can be automatically classified or annotated during subsequent signal processing.
  • This also means that every side lobe, every multiple reflection and, without exception, every other associated signal component, such as speed, can be uniquely assigned to an object.
  • Conventional problems in the correct allocation of signal components and objects, which arise, for example, from masking, can be solved directly. In the example case of a pedestrian located behind a wall, there would be no pedestrian in the beam data and the segmentation of a pedestrian would correctly be excluded from the ground truth data. Much more complex scenarios can also be solved in this way, for example if a pedestrian is walking or standing behind a car and can therefore only be recognized through multiple reflections in the radar signal.
  • annotation of the radar signal or the spectral data can be completely complete for the first time, since every beam that contributes to the radar signal, without exception, contains all object information and can be used as a perfect label.
  • annotation can be implemented fully automated and computationally efficient as part of the simulation process chain, so that no additional manual effort is required.
  • an almost unlimited amount of realistic, perfectly annotated data can be generated.
  • the resulting artificial intelligences can therefore clearly stand out from the current state of the art and can resolve significantly more complex scenarios and, for example, realize significantly more complex segmentation, such as complete panoptic segmentation.
  • the presented approach can be applied not only to radar sensors, but also to a large number of other sensor systems, such as camera, lidar or ultrasound systems.
  • Lidar systems can also be simulated using ray tracing approaches. Ray tracing is very similar to simulating radar data. Since the optical lidar beams have a shorter wavelength than radar beams, only the material properties need to be adjusted. In addition, multiple reflections play a minor role in lidar data. The resolution of a lidar system can be improved virtually, for example, by increasing the number of beams or the rotation rate and/or measurement rate of the system, thereby generating a denser point cloud. This data can also be used directly as ground truth data using the method described above.
  • ultrasonic sensors do not work with electromagnetic waves, but with acoustic sound, but since the signals are also described as waves, the signal processing for ultrasound data is very similar and often even identical.
  • Ultrasonic signals can be simulated in a similar way to radar signals. Depending on the wavelength, other effects such as diffraction or transmission only need to be taken into account the simulation environment must be adapted to the respective parameters. However, the presented approach can be adopted directly after adapting the simulation environment.
  • Any sensor fusion of different or identical sensor systems can also be implemented. This means that more comprehensive and complicated scenarios can be simulated directly, for example in order to directly train applications for autonomous driving.
  • the operating principle of the simulation unit is preferably based on the SBR approach.
  • the description of virtual objects and/or the virtual environment is preferably done using triangular meshes.
  • the simulation unit is preferably accelerated using a modern ray tracing engine. Virtual objects and/or the virtual environment are set up quickly and easily.
  • Diffuse and metallic reflections can preferably be simulated on virtual objects and/or in the virtual environment. Doppler simulation and animations can also be carried out. It is preferably possible to simulate occlusions and/or multi-path effects in the simulation unit. MIMO apertures can be simulated with flexible radar parameters. Any third-party networks are conceivable in the simulation.
  • Autonomous driving and driver assistance systems including signal enhancement, extensive training, classification or segmentation of static and dynamic objects and road users;
  • - Medical technology and medical applications including vital sign monitoring, movement analysis (gait, injury, etc.), stress detection, palliative care monitoring, sleep analysis, general diagnostics and monitoring); - Traffic area monitoring (including road, transit and parking space monitoring);

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Die vorliegende Erfindung betrifft ein System zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einer Simulationseinheit und einer Künstlichen-Intelligenz-Einheit, wobei die Simulationseinheit dazu ausgebildet ist, simulierte Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder einer Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung zu erzeugen und das virtuelle Objekt, die Eigenschaft des virtuellen Objekts und/oder die virtuelle Umgebung zu annotieren und daraus Simulationsdaten zu erzeugen, wobei die Künstliche-Intelligenz-Einheit dazu ausgebildet ist, auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder einer Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren.

Description

System, Verfahren, Computerprogramm und computerlesbares Medium zur Erzeugung annotierter Daten
Die vorliegende Erfindung betrifft ein System zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einer Simulationseinheit und einer Künstlichen-Intelligenz-Einheit, wobei die Simulationseinheit dazu ausgebildet ist, simulierte Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder einer Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung zu erzeugen und das virtuelle Objekt, die Eigenschaft des virtuellen Objekts und/oder die virtuelle Umgebung zu annotieren und daraus Simulationsdaten zu erzeugen.
Für die Simulation von Radar- bzw. Funksignalen im Allgemeinen sind eine Reihe unterschiedlicher Ansätze, welche auf Ray-Tracing-Algorithmen basieren aus dem Stand der Technik bekannt.
Ein weit verbreiteter Ansatz vor allem für die Simulation von Radardaten im Automo- tive-Umfeld ist der Shooting and Bouncing Rays (SBR) Ansatz. Dieser wird in Fig. 8 illustriert. Ein von einer Sendeantenne T ausgehender Strahl TR wird an den Facetten F reflektiert und wird von der Empfangsantenne R empfangen. Eine recheneffiziente Variante zur Simulation von Radardaten ist, das Objekt mittels sogenannter Streuzielen zu beschreiben. Diese Streuziel-Modelle können durch Messungen oder durch eine aufwändigere SBR-Simulation erstellt werden. Ein bedeutender Nachteil dieser Technik ist, dass Streuzentren für jedes Objekt einzeln berechnet oder gemessen werden müssen und Effekte wie Verdeckung oder Mehr- fachreflektionen nicht oder nur sehr eingeschränkt simuliert werden können, wodurch insgesamt eine realitätsnahe Simulation erschwert wird.
Durch den verstärkten Einsatz von neuronalen Netzen wurden auch datengetriebene Ansätze entwickelt. Hierbei lernt ein statistisches Model oder ein künstliches neuronales Netz aus gemessenen Radardaten neue unbekannte Radardaten künstlich zu generieren. Der größte Nachteil dieser Variante ist, dass nur Daten von existierenden Sensoren mit vorhanden Messdaten erzeugt werden können. Eine flexible oder zufällige Sensorkonfiguration ist somit im Gegensatz zu den Ray-Tracing-Ansätzen hier nicht ohne weiteres möglich.
Weiterhin ist die Qualität bzw. Realitätsnähe der generierten Daten der beiden letztgenannten Verfahren immer noch merklich schlechter im Vergleich zu einer weitestgehend physikalisch korrekten SBR-Simulation.
Künstliche Intelligenz findet nach dem Stand der Technik Anwendung im Bereich der Detektion und Klassifikation von Objekten im Automotive-Radar-Umfeld. Das Anwendungsspektrum reicht von der einfachen Detektion von Objekten bis hin zur deren Klassifikation, welche oft unter Ausnutzung des Doppler-Spektrums geschieht.
Auch zur Verbesserung der Winkelauflösung werden Machine-Learning-Algorith- men, also künstliche Intelligenz eingesetzt.
Weiterhin wird künstliche Intelligenz zur Bilderverbesserung im Bereich der Radar- bildgebung und im Bereich der menschlichen Bewegungsklassifikation eingesetzt. Eines der größten Probleme bei Nutzung künstlichen Intelligenz für Radarsignale ist die Generierung einer sogenannten Ground-Truth. Diese erfordert das Annotieren von Daten, wobei möglichst vielen individuellen Bereichen und/oder Teilen der Radardaten möglichst präzise Label, wie „Fußgänger“, „Fahrradfahrer“ oder „Auto“ etc. zugeordnet werden.
Der einfachste Ansatz zur Generierung von Ground-Truth ist eine manuelle Annotation, allerdings stellt dies insbesondere bei großen Datenmengen einen erheblichen Aufwand dar.
Anders als bei Radardaten ist das manuelle Annotieren von natürlichen Bildern, z.B. von Fotos zwar aufwändig, aber durch genügend Personal prinzipiell möglich. Bei Radardaten ist dies nicht ohne weiteres der Fall. Radardaten lassen sich nur durch Expertenwissen effektiv klassifizieren, da sich diese stark von natürlichen Bildern unterscheiden und deshalb schwer durch Menschen interpretierbar sind. Allerdings können selbst mit Expertenwissen nicht alle Radarbildeffekte richtig eingeordnet werden.
Verglichen mit optischen Bildern, die auf sichtbarem Licht basieren, hängt dies vor allem mit dem unterschiedlichen Reflexionsverhalten von elektromagnetischen Wellen im Frequenzbereich herkömmlicher Radarsysteme, der niedrigeren (Winkel-)Auf- lösung und der unterschiedlichen Datenprozessierung zusammen.
Beispielsweise gehören selbst Nebenkeulen im Frequenzspektrum einer Zielreflexion noch zum eigentlichen Ziel, obwohl diese lokal teilweise weit entfernt sind. Auch kann durch Mehrfachreflexionen ein einziges Objekt mehrere Zieldetektionen im Radarbild abbilden, welche örtlich weit voneinander entfernt sind.
Eine weitere Möglichkeit Ground-Truth Daten zu generieren, ist diese automatisch zu annotieren. Diese Art des Lernens wird häufig als Self-Supervised bezeichnet. Es ist bekannt, prozessierte Radarpunktwolken teilautomatisch mit Hilfe eines Lidar- Sensors und/oder eines Kamerasensors zu annotieren.
Auch GPS bzw. Odometriesensoren können als Referenz, z.B. bei der Fahrspurschätzung bzw. Road-Course-Estimation eingesetzt werden.
Weiterhin werden bereits Simulationen eingesetzt, um Ground-Truth-Daten für Radaranwendungen zu erstellen.
Simulationen werden allerdings nur sehr begrenzt für die Klassifikation von einzelnen Objekten eingesetzt. Eine umfassende automatische Segmentierung von komplexen Simulationsszenarien auf Basis von Radarrohdaten, welche für die Anwendung im Automotive-Radar Umfeld essenziell ist, ist nicht bekannt.
Ein Grund hierfür ist nicht nur, dass es sehr aufwändig und rechenintensiv ist, komplexe Welten zu simulieren. Ein fundamentales Problem ist auch, dass selbst bei Simulationen die 3D-Umgebung auf die Simulationsdaten richtig übersetzt werden muss. Das heißt, dass jedes Objekt bzw. sogar jede Reflexion im Radarsignal richtig annotiert oder gelabelt werden muss.
Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein vorbezeichnetes System, insbesondere im Hinblick auf die Annotierung von Objekten, zu verbessern.
Diese Aufgabe wird durch das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Demnach ist erfindungsgemäß vorgesehen, dass die Künstliche-Intelligenz-Einheit dazu ausgebildet ist, auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren.
Das System ist vorzugsweise zur Annotation und zum anschließenden optimalen Training der Künstlichen-Intelligenz-Einheit ausgebildet. Die Annotation erfolgt vorzugsweise in der Simulationseinheit.
Vorzugsweise ist es möglich aber nicht erforderlich, virtuelle Objekte in einer virtuellen Umgebung oder virtuelle Welten vollständig zu annotieren.
Eine Eigenschaft eines virtuellen Objekts ist vorzugsweise jede Art von Information, die mit dem Objekt verknüpft ist, wie beispielsweise eine vektorielle Geschwindigkeit, vorzugsweise eines jeden Bildpunkts oder Strahls, der das Objekt trifft, Rauschen und/oder Nebenkeulen, die vom Objekt ausgehen, Temperatur, Matenaleigenschaft, Farbe etc.
Annotation bezeichnet vorzugsweise den Vorgang einem Objekt oder einem Pixel oder einem Bildbereich ein Label oder eine Bezeichnung zu geben, welches insbesondere in einem Trainingsprozess von einer Künstlichen-Intelligenz-Einheit interpretiert werden kann.
Die Künstlichen-Intelligenz-Einheit ist vorzugsweise dazu ausgebildet, gemeinsame Merkmale von Objekten, Pixeln oder Bildbereichen zu erkennen.
Detektion bezeichnet vorzugsweise den Vorgang ein Objekt und/oder einer Eigenschaft eines Objekts zu erkennen. Beispielsweise kann durch die Detektion erkannt werden, ob es sich bei einem Objekt um einen Menschen oder ein Auto handelt.
Klassifikation bezeichnet vorzugsweise den Vorgang ein Objekt und/oder einer Eigenschaft eines Objekts einer Klasse zuzuordnen. Dabei kann eine Wahrscheinlich- keit angegeben werden, mit der ein Objekt einer Klasse zuzuordnen ist. Beispielsweise kann durch Klassifikation ein Objekt mit einer Wahrscheinlichkeit von 96 % der Klasse „Mensch“ zugeordnet werden.
Segmentierung bezeichnet vorzugsweise den Vorgang ein Objekt in Segment, wie beispielsweise Pixel, aufzuteilen, wobei jedes Segment detektiert und/oder klassifiziert wird.
Vorzugsweise ist vorgesehen, dass die Simulationseinheit dazu ausgebildet ist, mehr als ein virtuelles Objekt mit mehr als einer Eigenschaft zu simulieren und/oder dazu ausgebildet ist, das virtuelle Objekt und/oder die Eigenschaft des virtuellen Objekts oder die virtuellen Objekte und/oder die Eigenschaften der virtuellen Objekte und/oder die virtuelle Umgebung vollständig zu annotieren.
Vorzugsweise ist vorgesehen, dass das System ferner Mittel aufweist, mittels derer eine Erzeugung des virtuellen Objekts und/oder eine Erzeugung der virtuellen Umgebung mittels 3D-lnformationen, welche aus einer Game-Engine erzeugt wurden oder auf Basis von Karteninformationen, Luftbildern, Erdfernerkundungsinformatio- nen und/oder Messdaten eines Kamerasystems und/oder eines Laserscanners oder anderer Sensorsysteme erfolgt.
Vorzugsweise ist vorgesehen, dass die simulierte Sensoreinheit einer realen Sensoreinheit nachgebildet und/oder dass die simulierte Sensoreinheit, insbesondere im Hinblick auf Auflösungsvermögen, Signal-Rausch-Verhältnis und/oder Eindeutigkeitsbereichen gegenüber einer realen Sensoreinheit verbessert ist.
Denkbar ist, dass die simulierte Sensoreinheit ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät simuliert. Vorzugsweise ist vorgesehen, dass die simulierten, anderen simulierten oder aus einer realen Messung erzeugten Messdaten Bilddaten sind und/oder dass die Künst- I iche-l ntel ligenz-E inheit dazu ausgebildet ist, rohe und verarbeitete oder prozessierte Sensorsignale in den Messdaten zu verbessern.
Denkbar ist, dass die Umgebung eine dynamische, dreidimensionale Umgebung ist.
Vorzugsweise ist vorgesehen, dass das System oder die Künstliche-Intelligenz-Ein- heit Bestandteil eines Fahrzeugs ist und/oder dass die aus der realen Messung erzeugte Messdaten durch ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät erzeugt wurden.
In anderen Worten kann durch das Annotieren eine Bilderkennung erfolgen.
In anderen Worten wird vorzugsweise mindestens ein Objekt, vorzugsweise eine möglichst vielfältige, dynamische 3D-Szene simuliert, beispielsweise in einer Game- Engine oder auf Basis von Karteninformationen oder von Messdaten von Kamerasystemen und/oder Laserscannern oder anderer Sensoren einer realen Szene o- der eines realen Setups.
In dieser Objekt- und/oder Weltsimulation werden vorzugsweise anschließend Radare simuliert, die ausgehend von ihrer Position im Raum und ihrer simulierten Antennen Radarsignale mit einem Ray-Tracing-Ansatz in diese Welt aussenden und die Reflexionen empfangen und auswerten, wodurch digitale Radar-ADC-Daten simuliert werden können. Die simulierte Welt und das simulierte Signal sind vorzugsweise so realitätsnah, dass das simulierte Signal einem echten Signal möglichst ähnlich ist.
Da die simulierte Welt bekannt ist, können die Label bzw. Annotationen für die Radardaten direkt und vollumfassend miterzeugt werden. Diese Radardaten samt Label können für das Training einer künstlichen Intelligenz (Kl), z.B. einem neuronalen Netz verwendet werden, beispielsweise zur Objektdetektion, Objektklassifikation, Segmentierung oder zur Bildverbesserung (Image Enhancement).
Vorzugsweise werden das simulierte Objekt und/oder die simulierten Welten einmal mit und einmal ohne Störeffekte simuliert. Somit können neuronale Netze trainiert werden, die diese Störeffekte in der Realität weitestgehend unterdrücken.
Vorzugsweise wird einmal das der Realität nachempfundene Radar als „Digital Twin“ simuliert und einmal ein deutlich verbesserter „Advanced Digital Twin“. Dieser kann beispielsweise ein deutlich größeres oder voller besetztes Antennenarray aufweisen, um Radarbilder mit einer besseren Winkelauflösung zu simulieren. Trainiert man nun ein neuronales Netz bzw. eine Kl mit den Simulationsdaten des „Digital Twin“ und des „Advanced Digital Twin“, kann die Kl die echten Radarmessdaten, insbesondere im Hinblick auf Auflösung, Signal-Rausch-Verhältnis, Eindeutigkeitsbereiche etc. verbessern.
Vorzugsweise bekommt jeder Strahl des Ray-Tracing-Ansatzes bei einer Reflexion die Objekt-ID des Objektes, an dem es reflektiert wurde, als zusätzliches Attribut. Damit ist es möglich, jedes Partialecho eines Objektes vollständig diesem Objekt zuzuordnen. Dieses Attribut entspricht somit vorzugsweise einem optimalen Label bzw. einer optimalen Annotation. Dadurch können Kl-Anwendungen z.B. zur Objektklassifikation optimal trainiert werden, weil das Netz lernt, alle Informationen aus dem kompletten (Frequenz-)Spektrum zu nutzen.
Vorzugsweise bilden die simulierten Welten die Realität möglichst gut ab, indem man bestehende Datensätzen aus der Erdfernerkundung, von Kartendiensten oder von Luftbildern verwendet. Es ist denkbar, dass die simulierten Welten aus echten Messdaten erzeugt werden. Beispielsweise können Daten aus einer Messfahrt mit hochauflösenden Laserscan- nern derart akkumuliert werden, dass die echte Welt in Form von Dreiecksnetzen (o.ä.) nachgebaut werden kann.
Denkbar ist, dass statt dem Radarsignal Lidar-, Kamera- oder Ultraschallsignale simuliert werden.
Vorzugsweise wird ein effizientes und automatisiertes Einlernen bzw. Trainieren von künstlichen Intelligenzen für die Interpretation oder Verbesserung von Radar- und anderen Sensorsystemen ermöglicht.
Vorzugsweise werden zielgerichtet beliebige Objekte oder umfassenderen Szenen bzw. Welten in einer Simulationsumgebung simuliert. Vorzugsweise werden danach in dieser Simulationsumgebung möglichst realitätsnahe Radar-ADC-Daten oder anderen Sensor-Rohdaten mittels Ray-Tracing-Ansätzen erzeugt. Vorzugsweise wird hierbei jedem simulierten Strahl (Ray) ein oder mehrere Attribute zugewiesen, die alle Objekte, an denen dieser Strahl reflektiert wurde bzw. mit denen dieser Strahl interagiert hat, beschreiben und identifizieren.
Beispielsweise kann direkt die Bewegung eines Objektes in Form eines Geschwindigkeit-Vektors für jeden Reflexionspunkt bzw. jeden Strahl maximal detailliert erfasst werden. So haben z.B. Fußgänger nicht eine einzige Geschwindigkeit, da sich jeder Punkt des Körpers individuell bewegt. Die Arme schwingen, ein Standbein steht, der Torso bewegt sich relativ konstant etc. Genau diese Mikrodoppler-Signatur, also das Zusammenspiel aller Geschwindigkeiten, kann von einem Radar gut ausgewertet werden und kann vollständig korrekt annotiert oder gelabelt werden.
Äquivalent hierzu können wir auch weitere Objekteigenschaften wie unter anderem Temperatur (nicht relevant für Radar), Materialeigenschaft, Farbe (nicht relevant für Radar), Informationen über den Übertragungskanal (Regen, Nebel, usw) übergeben und dadurch Vorteile für Kl-Einheiten erwirken. Da somit jedes Objekt im Rohsignal rückwirkend eindeutig und vollständig identifiziert werden kann, können die simulierten Daten danach direkt als automatisch annotierte, hochqualitative Ground-Truth-Daten für das Einlernen oder Trainieren künstlicher Intelligenzen verwendet werden. Durch die Nutzung einer Simulationsumgebung ist es vorzugsweise möglich, eine beliebig große Zahl vollständig annotierter Trainingsdaten in kurzer Zeit zu generieren.
Mit den eingelernten bzw. trainierten künstlichen Intelligenzen können die Sensordaten einerseits beispielsweise interpretiert, klassifiziert, segmentiert, oder anderweitig beschrieben werden. Andererseits können durch die Anpassung der Simulationsumgebung und der simulierten Sensoren auch Radardaten mit verbesserten Eigenschaften, wie beispielsweise Auflösung und Eindeutigkeitsbereiche sowie mit drastisch reduzierten Störeffekten generiert werden. Dadurch können die Parameter von Algorithmen des maschinellen Lernens automatisch, also Self-Supervised derart trainiert werden, dass sie die Ausgangsdaten realer Sensoren, beispielsweise durch Super-Resolution und Noise-Suppression signifikant verbessern.
Die Erfindung betrifft auch ein Verfahren zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einem System nach einem der vorhergehenden Ansprüche mit den folgenden Schritten: a) Erzeugen von simulierten Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder eine Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung; b) Annotieren des virtuellen Objekts, der Eigenschaft des virtuellen Objekts und/oder der virtuellen Umgebung und Erzeugen von Simulationsdaten, wobei auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten detektiert, klassifiziert und/oder segmentiert wird. Die Erfindung betrifft auch ein Verfahren zum Trainieren einer Künstlichen-Intelli- genz-Einheit eines Systems nach einem der Ansprüche 1 bis 8, wobei die Künstlichen-! ntell igenz-Ei nheit dazu trainiert wird auf Grundlage von simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder einer Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren.
Es erfolgt vorzugsweise das Training einer Künstlichen-Intelligenz-Einheit auf Basis von simulierten Daten. Die Künstlichen-Intelligenz-Einheit kann sodann vorzugsweise reale oder auch simulierte Messdaten interpretieren oder verbessern.
Das virtuelle Objekt und/oder die virtuelle Umgebung kann einem realen Objekt und/oder einer realen Umgebung nachgebildet sein.
Mit dem Verfahren erfolgt vorzugsweise eine vollständige Annotation des virtuellen Objekts, der Eigenschaft des virtuellen Objekts und/oder der virtuellen Umgebung. Dies erfolgt beispielsweise durch Objekt-IDs. Jeder Reflexion auf dem Weg eines Strahls oder jede Bewegungsinformation wird vorzugsweise annotiert. Beispielsweise wird ein Strahl erst an einer statischen Hauswand und dann am mit 3 m/s schwingenden Arm eines Fußgängers reflektiert. Diese Informationen werden in der Annotation beibehalten.
Die hierin beschriebenen Merkmale sind mutatis mutandis vorzugsweise Merkmale des Systems als auch der Verfahren.
Die Erfindung betrifft auch ein Computerprogramm, welches Befehle umfasst, die bewirken, dass das erfindungsgemäße System die Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.
Die Erfindung betrifft auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist. An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.
Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen:
Fig. 1 : ein Blockdiagramm einer Ausführungsform eines erfindungsgemäßen Systems.
Fig. 2: ein Blockdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens.
Fig. 3: eine Ansicht einer realen Messszene (links) und eine Ansicht einer dreidimensionalen Nachbildung dieser Messszene (rechts).
Fig. 4: ein Strahlenmuster aus einem bekannten Simulationsverfahren (links) und ein Strahlenmuster aus einer Ausführungsform eines erfindungsgemäßen Simulationsverfahrens (rechts).
Fig. 5: eine Ansicht einer dreidimensionalen Nachbildung einer Messszene (links), eine Ansicht eines darauf basierenden Radarbilds (Mitte) und eine Ansicht eines darauf basierenden erweiterten Radarbilds (rechts). Fig. 6: eine Ansicht einer realen Messszene (links), eine Ansicht eines darauf basierenden Radarbilds (Mitte) und eine Ansicht eines darauf basierenden erweiterten Radarbilds (rechts).
Fig. 7: eine Ansicht einer Antennenanordnung.
Fig. 8: eine schematische Ansicht einer Antennenanordnung.
In Fig. 1 ist ein Blockdiagramm eines erfindungsgemäßen Systems mit einem Radarsystem 10, bzw. einem „Radar System“ 10, einem digitalen Zwilling 20, bzw. einem „Digital Twin“ 20, einem verbesserten digitalen Zwilling 30, bzw. einem „Advanced Digital Twin“ 30 und einer künstlichen Intelligenz 50, bzw. einem „Deep Neural Networks (DNN)“ 50 dargestellt.
Als Ausgabe ergibt sich aus dem System ein erweitertes Radarbild 40, bzw. ein „Enhanced Radar Image“.
Die Einheiten des Systems können in Einheiten in der Realität 100 und Einheiten im virtuellen Raum 200 gruppiert werden. Das Radarsystem 10 und das erweiterte Radarbild 40 befinden sich in der Realität 100 und der digitale Zwilling 20 sowie der verbesserte digitale Zwilling 30 befinden sich im virtuellen Raum 200. Die künstliche Intelligenz vermittelt zwischen der Realität 100 und dem virtuellen Raum 200.
Das Radarsystem 10 liefert Messdaten 15, beispielsweise in Form eines Radarbilds an die künstliche Intelligenz 50 und Parameter und Informationen12 über das Antennenarray des Radarsystems 10 an den digitalen Zwilling 20. Der digitale Zwilling 20 liefert Trainingsdaten 25 an die künstliche Intelligenz 50 und verbesserte Parameter und Informationen 23 über das Antennenarray des Radarsystems 10 an den verbesserten digitalen Zwilling 30. Der verbessere digitale Zwilling liefert Trainingsdaten 35 an die künstliche Intelligenz 50. Die künstliche Intelligenz 50 verarbeitet die Messdaten 50, die Trainingsdaten 25 und 35 und gibt als Ausgang 54 ein erweitertes Radarbild 40 aus. Es werden vorzugsweise fortschrittliche Radarsensoren ohne unerwünschte Effekte simuliert, um reale Radarbilder zu verbessern.
Das Künstliche-Intelligenz-Einheit kann ein Aufmerksamkeits-U-Netz, trainiert auf 9000 Bildern für eine Regressionsaufgabe sein.
Die Entfernungsauflösung des digitale Zwillings 20 sowie des verbesserten digitalen Zwillings 30 ist vorzugsweise möglichst klein, vorzugsweise kleiner oder gleich als die eines echten Sensors und beträgt beispielsweise 7,5 cm. Die laterale Auflösung des digitalen Zwillings 20 ist vorzugsweise gleich der eines echten Sensors und beträgt beispielsweise 5,3°. Die laterale Auflösung des verbesserten digitalen Zwillings 30 ist vorzugsweise kleiner als die eines echten Sensors und ist insbesondere kleiner als 1 ° und beträgt beispielsweise 0,4°. Der verbesserte digitale Zwilling 30 weist im Vergleich zum digitalen Zwilling 20 keine oder weniger Unordnung und Rauschen auf. Die Rekonstruktion beim digitalen Zwilling 20 erfolgt auf Basis einer schnellen Fourier-Transformation (FFT). Die Rekonstruktion beim verbesserten digitalen Zwilling 30 erfolgt auf Basis eines passenden Filters.
Es ist eine Dopplersimulation eines laufenden Menschen denkbar.
In Fig. 2 sind Verfahrensschritte eines beispielhaften Verfahrens dargestellt.
In einer Simulationsumgebung können 3D-Karten aus einem Open-Source Simulator, also eine Simulationseinheit exportiert werden. Diese Daten bestehen aus Dreiecksnetzen, die im Bereich Computergraphik, Spieleentwicklung und Computer Aided Design (CAD) verbreitet sind.
Ähnlich wie in der Computergraphik kann jedem Dreieck bzw. jedem Objekt ein Material zugeordnet werden. Dieses Material bestimmt hauptsächlich die Reflexionseigenschaften des Radarsignals. Diese Dreiecksnetze können nicht nur aus bestehenden Simulatoren exportiert werden, sondern es können auch 3D-Daten aus Game-Engines oder Computerspielen direkt verwendet werden.
Weiterhin können realistische 3D-Daten aus Kartendiensten mit entsprechender Software generiert werden. Auch besteht die Möglichkeit aus den Daten von hochauflösenden Lidarsensoren oder auf Basis von Photogrammmetrie ein genaues Abbild der realen Umgebung zu erstellen. Mit entsprechendem Aufwand lässt sich also eine enorm große und theoretisch unbeschränkte Menge an 3D-Umgebungsdaten erzeugen.
Eine Nachbildung einer realen Messszene mittels eines 3D-Grafikprogramms zeigt Fig. 3. In Fig. 3 ist die reale Messszene 101 und eine dieser Messszene 101 nachgebildete Messszene 201 in einer Simulationsumgebung zu sehen.
Auch bewegte Objekte können beispielsweise durch Animationen exportiert oder selbst mittels 3D-Grafikprogrammen erstellt werden.
Der Simulator unterstützt vorzugsweise diffuse und metallähnliche Reflexionen, Doppler-Simulationen und Animationen, Okklusion und Mehrwegeffekte, MIMO- Aperturen mit flexiblen Radarparametern und/oder beliebige 3D-Meshes von Drittan- bietern.
Es erfolgt also eine simulative Erzeugung von Objekten und/oder Szenen mit Schritt S1.
In der Simulation wird dann die Animation Schritt für Schritt bzw. diskretisiert für jede Radarmessung, z.B. für jeden Chirp weiterbewegt und jeder Snapshot einzeln simuliert. Dies wird vom Schritt S2, Simulation von Sensor-Rohdaten umfasst. Der Simulator arbeitet sehr ähnlich zu dem bekannten SBR-Prinzip, in dem von vorab definierten Sendeantennen Radarstrahlen (Rays) ausgesendet werden, welche wiederum von der Umgebung (Dreiecksnetzen) reflektiert werden, bis sie eine als Kugel definierte Empfangsantenne treffen. Aus den so empfangenen Strahlen lässt sich ein IF-Signal auf Basis der Strahllänge und Echo-Energie bzw. -Amplitude generieren. In der folgenden Gleichung (1 ) wird das am Beispiel eines FMCW-Signals beschrieben. Dieses Verfahren kann auf OFDM-, CW-, Puls- oder andere Radare oder Modulationsarten übertragen werden. Gleichung (1 )
Im Unterschied zum bekannten SBR-Prinzip, welches üblicherweise darauf basiert, dass nur ein einzelner Radarstrahl ein Dreieck trifft und sog. Double-Counts möglichst vermieden werden, basiert der Simulator auf einem statistischen Ansatz, welcher Strahlen statistisch verteilt reflektiert. Diese Materialmodelle sind vor allem in Ray-Tracing-Verfahren der Computergraphik etabliert, da sich diese gut dafür eignen, komplexe Oberflächeneigenschaften wie Rauigkeit und diffuse Streuung zu beschreiben. Da sich die Signalausbreitung bei Automobilradaren durch die hohen Sendefrequenzen von ca. 77 bis ca. 300 GHz zunehmend wie optische Strahlen verhalten, können Effekte wie Beugung zunehmend vernachlässigt werden. Im Simulator können diese Materialmodelle die Umgebung deshalb sehr realitätsnah abbilden.
Anders als bei dem typischen SBR-Ansatz werden im Simulator sehr viele Strahlen zufällig ausgesendet, um äußerst realistische Radarbilder zu erzeugen. Dies geht aus Fig. 4 hervor, die ein Strahlenmuster 1 , welches nach einem Fibonacci-Gitter ausgebildet ist und ein Strahlenmuster 2, welches gleichförmig auf einer Kugeloberfläche verteilt ist, zeigt.
Ein Beispiel für einen Simulator findet sich in der folgenden Publikation: „C. Schüßler, M. Hoffmann, J. Bräunig, I. Ullmann, R. Ebelt and M. Vossiek, "A Realistic Radar Ray Tracing Simulator for Large MIMO-Arrays in Automotive Environments," in IEEE Journal of Microwaves, vol. 1 , no. 4, pp. 962-974, Oct. 2021 , doi: 10.1109/JMW.2021 .3104722“.
Die Simulation von bewegten Objekten bzw. die Simulation von Doppler- bzw. Micro- Doppler-Signaturen kann dadurch ermöglicht werden, dass die Umgebung zunächst mit einer initialen Simulation abgetastet wird und die entsprechenden Strahltreffer im Speicher gehalten werden. In den nachfolgenden Doppler-Simulationen werden dann Radarstrahlen an exakt dieselben Positionen gesendet. Würden die Strahlen für jeden Doppler-Snapshot immer zufällig und damit an leicht unterschiedliche Positionen gesendet, würde dies zu Phasenverzerrungen im Doppler-Spektrum führen, was eine sinnvolle Verwendung kaum möglich macht.
Dadurch können auch bewegte Ziele oder Objekte besonders gut annotiert werden. In der Annotation sind vorzugsweise schon Informationen über die Bewegung des Objekts mit enthalten.
Es können damit insbesondere auch direkt Annotationen oder Label für die Bewegung erzeugt werden. Dies kann z.B. bei einem Menschen sehr detailliert erfolgen.
Jeder Reflexionspunkt weist vorzugsweise eine eigene, insbesondere vektorielle, Geschwindigkeitsinformation auf. Dies Information ist wesentlich verbessert gegenüber der Information, dass sich ein Objekt mit einer bestimmten Geschwindigkeit bewegt.
Es wird vorzugsweise eine perfekte Annotation der Mikrodopplersignatur erzeugt. Dies ist im Stand der Technik nicht möglich und ist insbesondere für Radarsysteme sehr wertvoll, da typischerweise hauptsächlich die Mikrodopplersignatur in Künstli- chen-Intelligenz-Anwendungen genutzt wird, um zu klassifizieren und/oder segmentieren. In Fig. 5 ist nun eine Ansicht einer dreidimensionalen Nachbildung einer Messszene 201 , eine Ansicht eines darauf basierenden Radarbilds 215 und eine Ansicht eines darauf basierenden erweiterten Radarbilds 240 zu sehen.
In Fig. 6 ist eine Ansicht einer realen Messszene 101 , eine Ansicht eines darauf basierenden Radarbilds 115 und eine Ansicht eines darauf basierenden erweiterten Radarbilds 140 zu sehen.
Um Mehrfachsimulation zu vermeiden kann nur eine einzelne Simulation durchführt werden und die Länge der Radarstrahlen nachträglich verändert werden. Dadurch dass die Geometrie und die Bewegung aller Objekte vorher bekannt sind, wird lediglich jeder Radarstrahl zu jedem Dreieck und Objekt assoziiert und gespeichert, wobei dessen Länge nachträglich in der IF-Signalgenerierung angepasst werden kann. Dieses Vorgehen wurde für Radarsimulationen basierend auf dem Image Ansatz implementiert und wird dort als Dynamic Ray-Tracing bezeichnet.
Dieses Vorgehen wird in Fig. 7 illustriert. Dort wird schematisch eine effiziente Simulation von mehreren Antennen gezeigt. Um Phasenfehler zu vermeiden, können die gesendeten Strahlen von allen Antennen und in jedem Simulationsschritt (Chirp) so berechnet werden, dass sie jeweils das Dreieck an der gleichen Stelle treffen. Dies wird in Fig. 7 gezeigt. Der von der Sendeantenne T ausgesendete Strahl TF trifft an derselben Stelle auf die Facette F, wie der von der Sendeantenne T ausgesendete Strahl TR1 . Es wird nur der Strahl TR1 weitersimuliert. Für eine weitere Optimierung genügt es, nur eine Antennenkombination zu simulieren und die Strahllänge für alle anderen Antennen zu berechnen.
Eine ähnliche optimierte Vorgehensweise lässt sich für große Antennenarrays anwenden. Statt alle Antennenkombinationen zu simulieren, kann lediglich eine einzige Antenne simuliert werden und die Strahllänge für alle anderen Kombination können berechnet werden. Es kann mit entsprechender Computerhardware eine beliebige Menge an sehr realistischen Radarsimulationen mit beliebigen Parametern generiert werden.
Um künstliche Intelligenzen wie neuronale Netze auf Basis simulierter Daten trainieren zu können, wird im ersten Schritt ein digitaler Zwilling (Digital Twin) in der Simulationsumgebung aufgebaut. Antennenkonfiguration, relevante Hardwareeigenschaften und Signalparameter werden vorzugsweise realitätsgetreu für die Simulation übernommen. Außerdem können auch Einflüsse durch die Antennencharakteristiken oder Kalibrierungsartefakte berücksichtigt werden.
Während der Simulation können einzelne Signalanteile bzw. Strahlen direkt annotiert werden, da alle simulierten Objekte bekannt sind bzw. nachvollzogen werden können. Im Anschluss können Signale erzeugt werden, die direkt als Ground-Truth dienen.
Es ist bekannt Simulationen zur automatischen Annotation für Objektdetektionen zu verwenden. Als Ergebnis werden dabei beispielsweise die Objekte in einem Range- Doppler-Bild mittels Boundingboxen annotiert, um ein YOLO-Netzwerk zu trainieren.
Dies ist allerdings nicht ausreichend, um komplexe Messszenarien zu klassifizieren, da hier beispielsweise Nebenkeulen, Rauschen und Mehrfachreflexionen nicht berücksichtigt werden, welche sich nur ungenügend durch einfache Boundingboxen beschreiben lassen und auch bisher nicht manuell oder automatisch annotiert werden können.
Durch den verbesserten digitalen Zwilling kann eine Rauschreduktion verbessert werden, in dem Rauschanteile, Nebenkeulen etc. annotiert werden können.
Digitale Zwillinge lassen sich nicht nur für die Klassifikation bzw. Segmentierung von Daten verwenden. Mit ihnen lässt sich auch die Rohdatensignalverarbeitung insgesamt verbessern. Hierzu zählt unter anderem:
- die Beseitigung von unerwünschten Mehrfachreflexionen; - die Reduktion von elektronischem Rauschen;
- die künstliche Verbesserung der Antennenabstrahlcharakteristik;
- die Beseitigung von Mehrdeutigkeiten, z.B. in der Winkel- oder Dopplerdimension;
- die Reduktion von Kalibrierungsfehlem durch Übersprechen der Antennen.
Eine Signalverbesserung kann dadurch erreicht werden, dass nicht nur Radardatensätze simuliert werden, welche dem echten Sensor möglichst nahekommen. Vorzugsweise wird zusätzlich ein Sensor simuliert, der eine höhere Auflösung, z.B. durch ein größeres Antennenarray aufweist und dessen simulierte Hardware und simulierte Welt frei von den oben genannten Artefakten und Störungen ist.
Eine höhere Auflösung kann beispielsweise dadurch erreicht werden, dass wesentlich mehr Antennen als im ursprünglichen Sensor simuliert werden. Die Anzahl der Antennen kann höher sein, als es bei jedem realen Sensor möglich wäre. Störungen durch Mehrwegeausbreitung, wie Multipath-Reflections können dadurch beseitigt werden, dass die Anzahl der möglichen Strahlreflexionen begrenzt werden.
Die anderen beschriebenen Artefakte und Störungen lassen sich auf ähnliche Weise eliminieren. Der zusätzlich simulierte Sensor kann als Advanced Digital Twin bezeichnet werden.
Sind die Signale von beiden virtuellen Sensoren vorhanden, kann eine beliebige künstliche Intelligenz trainiert werden, um die Daten des Digital Twin zu verbessern.
Dies erfolgt, indem die Daten des Advanced Digital Twin als Ground-Truth-Daten verwendet werden. Somit lässt sich nicht nur die Auflösung und Geschwindigkeits-, Entfernungs- und Winkeleindeutigkeit des Eingabesensors erhöhen, sondern auch beliebige oder alle der oben genannten Artefakte vermeiden bzw. unterdrücken oder zumindest reduzieren.
Sind die Radarsimulationen ausreichend realitätsnah, kann die so gelernte bzw. trainierte künstliche Intelligenz direkt auf einen echten Sensor angewendet werden. Dies findet sich für einige der oben genannten Artefakte in der folgenden Publikation: „C. Schüßler, M. Hoffmann, I. Ullmann, R. Ebelt and M. Vossiek, "Deep Learning Based Image Enhancement for Automotive Radar Trained With an Advanced Virtual Sensor," in IEEE Access, vol. 10, pp. 40419-40431 , 2022, doi: 10.1109/ACCESS.2022.3166227“.
In der Simulation kann jeder empfangene Strahl mit seiner Umgebung assoziiert werden, in welcher dieser so oft von der Umgebung reflektiert, bis er eine Empfangsantenne trifft. Jeder Strahl kann beliebige Metadaten mit sich tragen, wie die Strahllaufzeit oder die Strahlenergie.
Vorzugsweise werden diese Metadaten um eine Liste von Objekt Identifiers (Objekt- IDs), die beispielsweise anzeigen, an welchem spezifischen Objekt ein Strahl reflektiert wurde und vorzugsweise um alle Informationen, wie beispielsweise vektorielle Geschwindigkeit, vorzugsweise eines jeden Bildpunkts oder Strahls, Rauschen, Temperatur, Matenaleigenschaft und/oder Farbe, die zum Labeln oder Annotieren benötigt werden, erweitert. Somit ist bei der Generierung der Radarsignale vollständig bekannt, welcher Strahl welchen Objekttyp und welche Entität getroffen hat. Somit können die Daten derart annotiert werden, dass anhand der Label nicht nur verschiedene Objektklassen, wie bspw. Fußgänger und Radfahrer voneinander unterschieden werden können, sondern auch individuelle Objekte einer selben Objektklasse, wie bspw. einzelne Fußgänger untereinander.
Da das simulierte IF-Signal, wie beispielsweise in Gleichung (1 ) für FMCW-Signale dadurch entsteht, dass der Signalanteil für jede einzelne Strahllänge aufaddiert wird, können bereits vor der eigentlichen Prozessierung für jedes einzelne Objekt IF- Signale erstellt werden, die somit in der nachfolgenden Signalverarbeitung automatisch klassifiziert bzw. annotiert werden können. Das bedeutet auch, dass jede Nebenkeule, jede Mehrfachreflexion und ausnahmslos jeder andere zugehörige Signalanteil, wie die Geschwindigkeit, einem Objekt eindeutig zugeordnet werden kann. Herkömmliche Probleme in der korrekten Zuordnung von Signalanteilen und Objekten, die beispielsweise durch Verdeckung entstehen, lassen sich dadurch direkt beheben. Im beispielhaften Fall eines Fußgängers, der sich hinter einer Wand befindet, würde sich in den Strahldaten kein Fußgänger befinden und die Segmentierung eines Fußgängers würde richtigerweise von den Ground-Truth-Daten ausgeschlossen werden. Auch weit komplexere Szenarien lassen sich dadurch lösen, z.B. falls ein Fußgänger hinter einem Auto läuft oder steht, und somit lediglich durch Mehrfachreflexionen im Radarsignal zu erkennen ist.
Probleme dieser Art lassen sich nicht durch andere Referenzsensoren wie z.B. Lidar- und Kamerasysteme lösen, da diese einer anderen Strahlphysik unterliegen bzw. eine abweichende Datenprozessierung aufweisen. Auch eine einfache Annotation, in denen die 3D-Geometrie direkt auf die Radarbilder gelegt wird, ist in diesem Fall nicht ausreichend, da nicht alle Signalanteile im Spektrum zugeordnet werden können, da eine räumliche Zugehörigkeit bei Nebenkeulen und Mehrwegeausbreitung nicht gegeben ist.
Die Annotation des Radarsignals bzw. der Spektraldaten kann einerseits erstmals komplett vollständig erfolgen, da ausnahmslos jeder zum Radarsignal beitragende Strahl alle Objektinformationen beinhaltet und als perfektes Label eingesetzt werden kann. Andererseits kann die Annotation vollautomatisiert und recheneffizient als Teil der Simulations-Prozesskette implementiert werden, sodass kein zusätzlicher manueller Aufwand erforderlich ist.
Vorzugsweise lassen sich nahezu unbegrenzt viele, realistische, perfekt annotierte Daten erzeugen. Dadurch werden die drei bedeutendsten Kriterien Datenqualität und -menge sowie Güte der Annotation für das Einlernen oder Trainieren künstlicher Intelligenzen wie neuronale Netze in einem unerreichten Ausmaß erfüllt. Die resultierenden künstlichen Intelligenzen können sich folglich deutlich vom bisherigen Stand der Technik abheben und wesentlich komplexere Szenarien auflösen und beispielsweise eine deutlich aufwändigere Segmentierung, wie z.B. eine vollständige panoptische Segmentierung realisieren. Die vorgestellte Vorgehensweise lässt sich nicht nur auf Radarsensoren anwenden, sondern auch auf eine große Zahl anderer Sensorsysteme, wie Kamera-, Lidar- oder Ultraschallsysteme.
Für Kameradaten werden Superresolution-Algorithmen üblicherweise dadurch trainiert, dass die Auflösung eines bestehenden Sensors reduziert wird und die zugehörigen Bilder als Eingabedaten verwendet werden. Die Daten mit der ursprünglichen Auflösung werden dann als Ground-Truth verwendet. Bestehende Ray-Tracing-Si- mulationen in der Computer-Graphik sind allerdings schon sehr ausgereift und realitätsnah. Deshalb ist es naheliegend, alternativ Kamerabilder mit höheren Auflösungen als bei konventionellen Kameras zu simulieren. Durch diesen Ansatz kann das vorgestellte Prinzip des Advanced Digital Twin direkt übertragen werden.
Lidar-Systeme können ebenfalls mit Ray-Tracing-Ansätzen simuliert werden. Die Strahlverfolgung ist sehr ähnlich zu der Simulation von Radardaten, da sich die optischen Lidar-Strahlen eine kleinere Wellenlänge als Radar-Strahlen aufweisen, müssen lediglich die Matenaleigenschaften angepasst werden. Darüber hinaus spielen Mehrfachreflexionen bei Lidar-Daten eine untergeordnete Rolle. Die Auflösung eines Lidar-Systems kann virtuell beispielsweise dadurch verbessert werden, dass die Anzahl der Strahlen oder die Drehrate und/oder Messrate des Systems erhöht wird und dadurch eine dichtere Punktewolke generiert wird. Diese Daten können nach dem oben beschriebenen Verfahren ebenfalls direkt als Ground-Truth-Daten verwendet werden.
Ultraschallsensoren arbeiten zwar im Gegensatz zu Radar- und Lidar-Systemen nicht mit elektromagnetischen Wellen, sondern mit akustischem Schall, da die Signale aber ebenfalls als Wellen beschrieben werden, ist die Signalverarbeitung für Ultraschalldaten sehr ähnlich und sogar oft identisch. Ultraschallsignale können dadurch ähnlich simuliert werden wie Radarsignale. Es sind hier lediglich je nach Wellenlänge andere Effekte wie Beugung oder Transmission zu berücksichtigen und die Simulationsumgebung ist an die jeweiligen Parameter anzupassen. Der vorgestellte Ansatz kann jedoch nach Anpassen der Simulationsumgebung direkt übernommen werden.
Auch beliebige Sensorfusionen verschiedener oder gleicher Sensorsysteme lassen sich realisieren. Dadurch können auch direkt umfassendere und kompliziertere Szenerien simuliert werden, um beispielsweise direkt Applikationen für das autonome Fahren zu trainieren.
Das Operationsprinzip der Simulationseinheit basiert vorzugsweise auf dem SBR- Ansatz. Die Beschreibung von virtuellen Objekten und/oder der virtuellen Umgebung erfolgt vorzugsweise über Dreiecksnetze. Die Simulationseinheit wird vorzugsweise über eine moderne Ray-Tracing-Enginge beschleunigt. Es erfolgt ein schnelles und einfaches Aufsetzen von virtuellen Objekten und/oder der virtuellen Umgebung.
Es können vorzugsweise an virtuellen Objekten und/oder in der virtuellen Umgebung diffuse und metallische Reflektionen simuliert werden. Ebenso können eine Dopplersimulation und Animationen erfolgen. Es sind in der Simulationseinheit vorzugsweise die Simulation von Okklusionen und/oder Multi-Pfad-Effekten möglich. MIMO- Aperturen können mit flexiblen Radarparametern simuliert werden. Es sind beliebige Netze von Drittanbietern in der Simulation denkbar.
Besonders relevante Einsatzgebiete für die Erfindung sind unter anderem:
- Automotive: Autonomes Fahren und Fahrerassistenzsysteme (u.a. Signal Enhancement, umfangreiches Training, Klassifikation bzw. Segmentierung von statischen und dynamischen Objekten und Verkehrsteilnehmern);
- Smart Home Applikationen (u.a. Erkennung von Menschen und Bewegungen; Sturz- und Präsenzdetektion, Energiespartechniken);
- Medizintechnik und medizinische Anwendungen (u.a. Vital Sign Monitoring, Bewegungsanalyse (Gang, Verletzung etc.), Stresserkennung, Palliativmedizinisches Monitoring, Schlafanalyse, generelle Diagnostik und Überwachung); - Verkehrsraumüberwachung (u.a. Straßen-, Durchfahrts- und Parkraum-Monitoring);
- Industrial Applications (u.a. in Logistik- oder Robotik-Applikationen);
- Industrieautomatisierung und 6G-Anwendungen;
- Militärtechnik (u.a. autonome Robotik, Drohnen, Zielerkennung).

Claims

System, Verfahren, Computerprogramm und computerlesbares Medium zur Erzeugung annotierter Daten
Patentansprüche . System zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einer Simulationseinheit und einer Künstlichen-Intelligenz-Einheit, wobei die Simulationseinheit dazu ausgebildet ist, simulierte Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder einer Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung zu erzeugen und das virtuelle Objekt, die Eigenschaft des virtuellen Objekts und/oder die virtuelle Umgebung zu annotieren und daraus Simulationsdaten zu erzeugen, dadurch gekennzeichnet, dass die Künstliche- Intelligenz-Einheit dazu ausgebildet ist, auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren. System nach Anspruch 1 , dadurch gekennzeichnet, dass die Simulationseinheit dazu ausgebildet ist, mehr als ein virtuelles Objekt mit mehr als einer Eigenschaft zu simulieren und/oder dazu ausgebildet ist, das virtuelle Objekt und/oder die Eigenschaft des virtuellen Objekts oder die virtuellen Objekte und/oder die Eigenschaften der virtuellen Objekte und/oder die virtuelle Umgebung vollständig zu annotieren. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das System ferner Mittel aufweist, mittels derer eine Erzeugung des virtuellen Objekts und/oder eine Erzeugung der virtuellen Umgebung mittels 3D-lnformationen, welche aus einer Game-Engine erzeugt wurden oder auf Basis von Karteninformationen, Luftbildern, Erdfernerkundungsinformationen und/oder Messdaten eines Kamerasystems und/oder eines Laserscanners oder anderer Sensorsysteme erfolgt. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die simulierte Sensoreinheit einer realen Sensoreinheit nachgebildet und/oder dass die simulierte Sensoreinheit, insbesondere im Hinblick auf Auflösungsvermögen, Signal-Rausch-Verhältnis und/oder Eindeutigkeitsbereichen gegenüber einer realen Sensoreinheit verbessert ist. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die simulierte Sensoreinheit ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät simuliert. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die simulierten, anderen simulierten oder aus einer realen Messung erzeugten Messdaten Bilddaten sind und/oder dass die Künstliche-Intelligenz- Einheit dazu ausgebildet ist, rohe und verarbeitete oder prozessierte Sensorsignale in den Messdaten zu verbessern. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebung eine dynamische, dreidimensionale Umgebung ist. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Künstliche-Intelligenz-Einheit Bestandteil eines Fahrzeugs ist und/oder dass die aus der realen Messung erzeugte Messdaten durch ein Radar, eine Kamera, ein Lidar und/oder ein Ultraschallgerät erzeugt wurden. Verfahren zum Detektieren, Klassifizieren und/oder Segmentieren eines Objekts und/oder einer Eigenschaft eines Objekts mit einem System nach einem der vorhergehenden Ansprüche mit den folgenden Schritten: a) Erzeugen von simulierten Messdaten einer simulierten Sensoreinheit über ein virtuelles Objekt und/oder eine Eigenschaft eines virtuellen Objekts in einer virtuellen Umgebung; b) Annotieren des virtuellen Objekts, der Eigenschaft des virtuellen Objekts und/oder der virtuellen Umgebung und Erzeugen von Simulationsdaten, dadurch gekennzeichnet, dass auf Grundlage der simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder eine Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten detektiert, klassifiziert und/oder segmentiert wird. Verfahren zum Trainieren einer Künstlichen-Intelligenz-Einheit eines Systems nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Künst- lichen-Intelligenz-Einheit dazu trainiert wird auf Grundlage von simulierten Messdaten und der Simulationsdaten, ein Objekt und/oder einer Eigenschaft eines Objekts auf Grundlage der simulierten Messdaten oder auf Grundlage von anderen simulierten Messdaten und/oder auf Grundlage von aus einer realen Messung erzeugten Messdaten zu detektieren, klassifizieren und/oder zu segmentieren. Computerprogramm, welches Befehle umfasst, die bewirken, dass das System eines der Ansprüche 1 bis 8 die Verfahrensschritte eines der Ansprüche 9 oder 10 ausführt. Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.
EP23773291.2A 2022-09-21 2023-09-20 System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten Pending EP4591092A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022124257.9A DE102022124257A1 (de) 2022-09-21 2022-09-21 System, Verfahren, Computerprogramm und computerlesbares Medium zur Erzeugung annotierter Daten
PCT/EP2023/075940 WO2024061967A1 (de) 2022-09-21 2023-09-20 System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten

Publications (1)

Publication Number Publication Date
EP4591092A1 true EP4591092A1 (de) 2025-07-30

Family

ID=88143915

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23773291.2A Pending EP4591092A1 (de) 2022-09-21 2023-09-20 System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten

Country Status (4)

Country Link
US (1) US20260087735A1 (de)
EP (1) EP4591092A1 (de)
DE (1) DE102022124257A1 (de)
WO (1) WO2024061967A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120143091B (zh) * 2025-02-18 2025-12-26 西北工业大学 一种基于空间特征的雷达点云与回波模拟方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740944B2 (en) * 2015-12-18 2017-08-22 Ford Global Technologies, Llc Virtual sensor data generation for wheel stop detection
WO2020140047A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications

Also Published As

Publication number Publication date
US20260087735A1 (en) 2026-03-26
DE102022124257A1 (de) 2024-03-21
WO2024061967A1 (de) 2024-03-28

Similar Documents

Publication Publication Date Title
DE112016000274B4 (de) System zum Generieren virtueller Radarsignaturen
EP2823331B1 (de) Verfahren und vorrichtung zum erfassen von objekten in einer umgebung eines fahrzeugs
DE102018121018A1 (de) Erweitern von realen sensoraufnahmen mit simuliertem sensordatenhintergrund
EP3438856B1 (de) Verfahren zum modellieren eines kraftfahrzeug-sensors in einer virtuellen testumgebung
DE102018121019A1 (de) Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten
EP3540457A1 (de) Identifikation von objekten mittels radardaten
DE102017119538A1 (de) Physikalische Modellierung für Radar- und Ultraschallsensoren
EP3818467B1 (de) Realistischere simulation physikalischer messdaten
DE102018000880B3 (de) Radarbasierte Längs- und Querregelung
DE102019215903A1 (de) Verfahren und Vorrichtung zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten eines Sensors insbesondere eines Fahrzeugs, Verfahren zum Trainieren und Verfahren zum Ansteuern
DE102018222800A1 (de) Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
Schüßler et al. Deep learning based image enhancement for automotive radar trained with an advanced virtual sensor
WO2019162317A1 (de) Verfahren zur erzeugung von sensordaten für sicherheitskritische automobil-steuergeräte
DE102019130096A1 (de) Verfahren zur Ermittlung einer Radarinformation, Simulationsverfahren, Klassifizierungsverfahren, Computerprogramm und Berechnungssystem
WO2024061967A1 (de) System, verfahren, computerprogramm und computerlesbares medium zur erzeugung annotierter daten
DE102023121112A1 (de) Erkennung von Radarreflektionen mit gefalteten neuronalen Netzwerk-Kerneln, die an einen Reflexions-Geist-Offset angepasst sind
CN109493366A (zh) 基于探鸟雷达图像的背景建模方法、系统及介质
DE102019201892B4 (de) Verfahren zum Erkennen einer Bewegung eines Objekts
CN119758269B (zh) 回波信号引导的sar目标检测对抗样本生成方法
DE102019101127A1 (de) Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102022205572A1 (de) Verfahren zum Erzeugen von Eingabedaten für ein maschinelles Lernmodell
DE102019205474A1 (de) Objekterkennung im Umfeld eines Fahrzeugs unter Verwendung einer primären Sensoreinrichtung und einer sekundären Sensoreinrichtung
DE102022123577B4 (de) Verfahren zum Simulieren von Echosignalen einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene
DE102013224507A1 (de) Detektionsverfahren zum Lokalisieren eines Partikels und Vorrichtung zum Durchführen eines solchen Verfahrens

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250422

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)