EP4666108A1 - Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem - Google Patents

Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem

Info

Publication number
EP4666108A1
EP4666108A1 EP24701138.0A EP24701138A EP4666108A1 EP 4666108 A1 EP4666108 A1 EP 4666108A1 EP 24701138 A EP24701138 A EP 24701138A EP 4666108 A1 EP4666108 A1 EP 4666108A1
Authority
EP
European Patent Office
Prior art keywords
processing
sensor
point
points
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24701138.0A
Other languages
English (en)
French (fr)
Inventor
Daniel Koehler
Ruediger Jordan
Bastian Bischoff
Michael Ulrich
Patrick Ziegler
Sascha BRAUN
Maurice QUACH
Daniel Niederloehner
Karim Adel Dawood Armanious
Daniel Kenta JENET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP4666108A1 publication Critical patent/EP4666108A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Definitions

  • the present invention relates to a device and a method for processing sensor data and to a sensor device with such a device.
  • Various sensor systems can be used to record the surroundings.
  • radar sensors can be used to detect objects, their position and, if necessary, relative movement.
  • the sensors provide data on individual points, for example, as well as additional properties such as backscatter coefficient or similar for these points. This point data can then be further processed to identify related objects and, if necessary, classify them.
  • the publication DE 10 2018 214 959 A1 describes a method for evaluating sensor data, wherein the sensor data is provided by at least one sensor. Based on the sensor data, objects can be detected and surface properties of the objects can be determined.
  • the present invention provides a device and a method for processing sensor data as well as a sensor system with the features of the independent patent claims. Further advantageous embodiments are the subject of the dependent patent claims. Accordingly, it is envisaged:
  • a device for processing sensor data with a transfer device is designed to receive a group of input data elements. Each input data element of this group of input data elements comprises a point that specifies at least one position. If necessary, one or more further properties can also be specified for the points.
  • the transfer device also comprises a point-processing neural network. This point-processing neural network is designed to map the points of the group of input data elements onto a regular output data structure.
  • the regular output structure can comprise a structure of a grid with any dimension
  • a sensor system with a sensor device and a device according to the invention for processing the sensor data.
  • the sensor device is designed to sense an environment of the sensor.
  • the sensor device is also designed to provide sensor data.
  • the sensor data is provided as points that specify at least one position.
  • a method for processing sensor data with a step for receiving a group of input data elements.
  • Each input data element comprises a point with a position. If necessary, the points can also comprise at least one further property.
  • the method further comprises a step for mapping the points of the group of input data elements onto a regular output data structure. The mapping is carried out using a point-processing neural network. Finally, the method comprises a step for outputting the regular output data structure. This regular
  • Output structure can, for example, be output to any other device for further processing.
  • sensor data In many application areas, it is desirable to derive information about objects from sensor data. Different approaches can be used to do this.
  • One possibility, for example, is to feed information from the sensor data into a neural network that is trained to identify objects and/or object properties from the sensor data.
  • the sensor data can be made available in different ways.
  • the sensor data can include a position in the field of view of the sensor and at least one other property, such as a backscatter coefficient or similar. If there is an extended object in the field of view of the sensor, the sensor data can therefore include point clouds with numerous points. For further processing, for example using a neural network or similar, these disordered point clouds must be converted into a regular structure such as a grid. Due to the discrete distances between the individual grid points, the sensor data from the original point cloud must be converted to the discrete positions of the specified grid. This can lead to inaccuracies or a reduction in the information content due to the discretization.
  • a point-processing neural network is provided for a transition from points in a disordered point cloud into a regular structure.
  • Such point-processing neural networks are able to transfer information from any number of points or vectors to a regular structure, for example individual grid cells.
  • the regular data structure in the form of a grid that is then provided is very advantageous or even essential for further processing, for example using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the points further comprise data with at least one further property of the respective point.
  • the further properties of the points can be any specific or non-specific properties.
  • any non-specific properties that cannot be specifically “explained” are also possible.
  • a downstream neural network can also be trained on such non-specific properties.
  • different properties are provided for different points.
  • the point-processing neural network comprises a kernel point convolution, KPConv, or a graph neural network, GNN.
  • KPConv kernel point convolution
  • GNN graph neural network
  • the device for processing the sensor data comprises a processing device.
  • This processing device is designed to detect an object and/or determine properties of an object using the information contained in the output data.
  • the properties of the objects can be a position, a dimension and/or orientation of the objects.
  • any other properties for characterizing the objects are of course also possible. For example, surface properties, direction of movement or the like can also be determined for a detected object.
  • the processing device comprises a neural
  • This neural network can be designed to use the to detect an object and/or determine properties of an object using the information specified in the output data structure. Depending on the application, any suitable neural network can be used for this purpose. Such a neural network can be trained in advance for the respective application using suitable training data.
  • the processing device comprises a filter device.
  • the filter device can be designed to filter the received input data elements and/or to process them according to another predetermined rule.
  • the filtering or processing can in particular take place before the points are mapped to the regular output data structure.
  • the sensor device which is processed by the device according to the invention can be provided, for example, by a radar sensor, a LiDAR sensor, an ultrasonic sensor and/or a camera.
  • the camera can be a 3D camera, for example a stereo camera or a time-of-flight camera.
  • Fig. 1 a schematic representation of a block diagram of a sensor system with a device for processing the sensor data according to an embodiment
  • Fig. 2 a schematic representation of a principle diagram for illustrating the processing of sensor data according to an embodiment
  • Fig. 3 a flow chart underlying a method for processing sensor data according to an embodiment.
  • FIG. 1 shows a schematic representation of a block diagram of a sensor system according to an embodiment.
  • the sensor system can contain several sensors 2-i, which sense an environment and provide corresponding sensor data.
  • the sensors 2-i can be, for example, radar sensors, lidar sensors, ultrasonic sensors, cameras or any other suitable sensors that are suitable for detecting objects in their environment, in particular a predetermined field of view.
  • a radar sensor can, for example, emit radar signals that are scattered and partially reflected by objects. The radar sensor can then receive and evaluate the radar echoes reflected back in the direction of the radar sensor in order to generate information about objects in the environment of the radar sensor. For example, such a radar sensor can provide information about individual points at which the radar signals have been at least partially reflected back to the radar sensor.
  • the information about such points can, for example, include a spatial position in the form of an azimuth and/or elevation angle or in Cartesian coordinates.
  • further information such as a relative speed, a backscatter coefficient or similar, can be specified for such points.
  • several such points can be output. These points can be referred to as a point cloud, for example.
  • other sensors can also provide corresponding information about points on objects in the environment.
  • 3D cameras such as stereo cameras or time-of-flight cameras can also provide spatial information about objects in the environment.
  • the data of the individual points include at least one position.
  • the data of a point can possibly include one or more further properties. These can be any specific or non-specific properties.
  • specific properties such as a radar backscatter coefficient or similar
  • a downstream neural network can also be trained on such non-specific properties. It is also possible that different properties are provided for different points.
  • the sensor data provided by the sensors 2-i can then be transmitted, for example in the form of the previously described points or point clouds, to a device 1 for processing the sensor data.
  • This device 1 can receive the sensor data, process it and, on the basis of this sensor data, for example, identify objects and/or determine object features of objects in the field of view of the sensors 2-i.
  • this evaluation of the sensor data can be carried out using a neural network or the like, as will be explained below.
  • the sensor data from the sensors 2-i can in principle be provided to the device 1 in any suitable manner.
  • the sensor data can be transmitted to the device 1 as an unordered list of the individual points and their feature or features.
  • the sensor data can be received by the device 1 for processing the sensor data and temporarily stored if necessary.
  • a preprocessing device 13 can be provided which carries out preprocessing, for example filtering, of the received sensor data. This can, for example, reduce noise in the sensor data or carry out any other processes for preprocessing the sensor data.
  • a transfer device 11 is provided in the device 1 for processing the sensor data.
  • This transfer device 11 can convert the sensor data, which are still in a disordered form, in the form of points into a regular output data structure.
  • the sensor data can be provided, for example, as elements of a two- or multi-dimensional grid.
  • This desired regular data structure can in particular be a data structure such as that required for a downstream Processing device 12 is suitable for further processing. For example, if the processing device 12 is designed to further process the data in a two-dimensional or three-dimensional grid, the data structure required for this can be provided by the transfer devices 11.
  • a point-processing neural network is provided in the transfer device 11 for the mapping or projection of the data from the points of the initially disordered data cloud with the sensor data into the regular data structure.
  • this point-processing neural network can be a kernel point convolution (KPConv) or a graph neural network (GNN).
  • KPConv kernel point convolution
  • NNN graph neural network
  • any other suitable point-processing neural networks are also possible.
  • the point-processing neural network can initially be trained in a suitable manner according to the requirements, in particular the desired regular output data structure and, if necessary, according to the data structure of the input data.
  • the output data from the transfer device 11, i.e. the data in the grid-shaped data structure according to the requirements of the processing device 12, can then be fed to the processing device 12.
  • the processing device 12 evaluates the data in the grid-shaped data structure provided. Through such an evaluation, the processing device 12 can, for example, detect one or more objects. Additionally or alternatively, the processing device 12 can also determine properties of the detected objects. For example, a spatial position, a spatial extent, material properties, in particular surface properties or the like can be determined for a detected object. If necessary, it is also possible to determine a direction of movement and/or a speed of an object. Of course, any other suitable properties of objects can also be determined using the data in the grid-shaped data structure.
  • the processing device 12 can use a neural network, for example.
  • a neural network can be trained in any way beforehand.
  • Figure 2 shows a schematic representation to illustrate the concept for transferring the sensor data from the sensors 2-i into the regular data structure for further processing by the processing device 12.
  • a point cloud 100 with several points can be provided by the sensors 2-i.
  • the individual points each represent sensor data.
  • the points can each have at least one further property, for example a backscatter coefficient in the case of a radar sensor.
  • the individual data can, for example, be provided in the point cloud 100 in the form of an unstructured list or similar.
  • the transfer device 11 can convert the unstructured data cloud 100 into a regular data structure 110.
  • a point-processing neural network as well as a KPConv or GNN can be used to map or transform the points from the unstructured data cloud 100 into the regular data structure 110.
  • This point-processing neural network can be trained in advance in a suitable manner according to the respective requirements.
  • the regular data structure 110 can then be provided to the processing device 12, and the processing device 12 can then detect objects and/or determine properties of objects on the basis of this regular or grid-like data structure. This information can then be further processed in any manner.
  • the results of the processing device 12 can be used in a driver assistance system or a system for fully or at least partially autonomous driving of a motor vehicle.
  • the information can also be used to monitor a traffic area by a stationary device.
  • object detection can also include the recognition of people, in particular facial recognition. It is also possible, for example, It is possible, for example, It is possible to use sensors to monitor any area inside or outside a building and to trigger predetermined events based on object detection or classification. For example, an alarm can be triggered when unauthorized access is detected, such as a break-in or similar.
  • the object detection or classification described above can also be used in industrial systems, for example in production plants or the like.
  • any other applications based on the object detection or classification according to the invention are of course also possible using the grid data of several grids with different scaling.
  • Figure 3 shows a flow chart that can form the basis of a method for processing sensor data according to one embodiment.
  • the method can basically comprise any steps as have already been described previously in connection with the sensor system or the device 1 for processing the sensor data.
  • the components described previously can comprise any elements as described below in connection with the method for processing the sensor data.
  • step S1 a group of input data elements is received.
  • Each input data element includes a point with a position.
  • the points can optionally also include at least one further property.
  • step S2 the points of the group of input data elements are then mapped to a regular output data structure. This mapping is carried out, as already explained, using a point-processing neural network.
  • step S3 the generated regular output data structure can be output.
  • Output data structure can be processed to detect objects and/or To determine properties of objects.
  • the processing of the output data can be done in particular using a neural network.
  • the present invention relates to the processing of sensor data from one or more sensors, wherein the sensor data is provided as a disordered point cloud.
  • the points of this disordered sequence are then converted into a regular structure using a point-processing neural network and made available for further processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft die Verarbeitung von Sensordaten eines oder mehrerer Sensoren, wobei die Sensordaten als ungeordnete Punktwolke bereitgestellt werden. Die Punkte dieser ungeordneten Folge werden daraufhin mittels eines punktverarbeitenden neuronalen Netzes in eine regelmäßige Struktur überführt und zur Weiterverarbeitung bereitgestellt. Eine Transfereinrichtung (12) ist dazu ausgelegt, eine Gruppe von Eingabe-Datenelementen von Sensoren (2-1, 2-2, 2-3), beispielsweise ein Radarsensor, ein Lidar-Sensor, ein Ultraschallsensor und/oder eine Kamera, zu empfangen. Jedes Eingabe-Datenelement dieser Gruppe von Eingabe-Datenelementen umfasst einen Punkt, der mindestens eine Position spezifiziert. Gegebenenfalls können darüber hinaus für die Punkte auch noch eine oder mehrere weiteren Eigenschaften spezifiziert werden.. Ferner umfasst die Transfereinrichtung (12) ein punktverarbeitendes neuronales Netz. Dieses punktverarbeitende neuronale Netz ist dazu ausgelegt, die Punkte der Gruppe von Eingabe-Datenelementen auf eine regelmäßige Ausgabedatenstruktur abzubilden. Insbesondere kann die regelmäßige Ausgabestruktur eine Struktur eines Gitters mit beliebiger Dimension umfassen. Eine Verarbeitungseinrichtung (12) ist dazu ausgelegt, unter Verwendung der regelmäßigen Ausgabedatenstruktur ein Objekt zu detektieren und/oder Eigenschaften eines Objekts zu ermitteln. Optional ist eine Vorverarbeitungseinrichtung (13) vorgesehen, welche eine Vorverarbeitung, beispielsweise eine Filterung der empfangenen Sensordaten durchführt. Das Konzept für den Übergang von Sensordaten aus einer ungeordneten Punktwolke in eine regelmäßige Datenstruktur ist geeignet, effizient und mit möglichst geringem Datenverlust weiterverarbeitet werden zu können. Hierzu ist für einen Übergang von Punkten einer ungeordneten Punktwolke in eine regelmäßige Struktur ein punktverarbeitendes neuronales Netz vorgesehen.

Description

Beschreibung
Titel
Vorrichtung und Verfahren zur Verarbeitung von Sensordaten. Sensorsystem
Technisches Gebiet
Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zum Verarbeiten von Sensordaten sowie eine Sensorvorrichtung mit einer solchen Vorrichtung.
Hintergrund
Für den Betrieb von Fahrerassistenzsystemen wie sie unter anderem in ganz oder zumindest teilweise autonom fahrenden Fahrzeugen eingesetzt werden, ist eine möglichst genaue Kenntnis über das Umfeld des Fahrzeugs erforderlich. Zur Erfassung des Umfelds können verschiedene Sensorsysteme eingesetzt werden. Beispielsweise können Radarsensoren genutzt werden, um Objekte, deren Position und gegebenenfalls Relativbewegung zu detektieren. Die Sensoren liefern hierbei beispielsweise Daten einzelner Punkte, sowie gegebenenfalls zusätzliche Eigenschaften wie Rückstreukoeffizient oder Ähnliches für diese Punkte. Diese Punktdaten können daraufhin weiterverarbeitet werden, um zusammenhängende Objekte zu identifizieren und gegebenenfalls zu klassifizieren.
Die Druckschrift DE 10 2018 214 959 Al beschreibt beispielsweise ein Verfahren zur Auswertung von Sensordaten, wobei die Sensordaten durch mindestens einen Sensor bereitgestellt werden. Basierend auf den Sensordaten können Objekte detektiert werden und Oberflächeneigenschaften der Objekte bestimmt werden.
Offenbarung der Erfindung
Die vorliegende Erfindung schafft eine Vorrichtung und ein Verfahren zur Verarbeitung von Sensordaten sowie ein Sensorsystem mit den Merkmalen der unabhängigen Patentansprüche. Weitere vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Patentansprüche. Demgemäß ist vorgesehen:
Eine Vorrichtung zur Verarbeitung von Sensordaten mit einer Transfereinrichtung. Die Transfereinrichtung ist dazu ausgelegt, eine Gruppe von Eingabe-Datenelementen zu empfangen. Jedes Eingabe-Datenelement dieser Gruppe von Eingabe-Datenelementen umfasst einen Punkt, der mindestens eine Position spezifiziert. Gegebenenfalls können darüber hinaus für die Punkte auch noch eine oder mehrere weiteren Eigenschaften spezifiziert werden.. Ferner umfasst die Transfereinrichtung ein punktverarbeitendes neuronales Netz. Dieses punktverarbeitende neuronale Netz ist dazu ausgelegt, die Punkte der Gruppe von Eingabe-Datenelementen auf eine regelmäßige Ausgabedatenstruktur abzubilden. Insbesondere kann die regelmäßige Ausgabestruktur eine Struktur eines Gitters mit beliebiger Dimension umfassen,
Weiterhin ist vorgesehen:
Ein Sensorsystem mit einer Sensoreinrichtung und einer erfmdungsgemäßen Vorrichtung zur Verarbeitung der Sensordaten. Die Sensoreinrichtung ist dazu ausgelegt, ein Umfeld des Sensors sensorisch zu erfassen. Die Sensoreinrichtung ist ferner dazu ausgelegt, Sensordaten bereitzustellen. Die Sensordaten werden hierbei als Punkte bereitgestellt, die mindestens eine Position spezifizieren.
Schließlich ist vorgesehen:
Ein Verfahren zur Verarbeitung von Sensordaten mit einem Schritt zum Empfangen einer Gruppe von Eingabe-Datenelementen. Hierbei umfasst jedes Eingabe-Datenelement einen Punkt mit einer Position. Gegebenenfalls können die Punkte auch mindestens eine weitere Eigenschaft umfassen. Ferner umfasst das Verfahren einen Schritt zum Abbilden der Punkte der Gruppe von Eingabe-Datenelementen auf eine regelmäßige Ausgabedatenstruktur. Das Abbildern erfolgt dabei unter Verwendung eines punktverarbeitenden neuronalen Netzes. Schließlich umfasst das Verfahren einen Schritt zum Ausgeben der regelmäßigen Ausgabedatenstruktur. Diese regelmäßige
Ausgabe Struktur kann zum Beispiel zur Weiterverarbeitung an eine beliebige weitere Vorrichtung ausgegebenen werden. Vorteile der Erfindung
In vielen Anwendungsbereichen ist es wünschenswert, aus Sensordaten Informationen über Objekte abzuleiten. Hierfür können unterschiedliche Ansätze verfolgt werden. Eine Möglichkeit ist beispielsweise Informationen der Sensordaten einem neuronalen Netzwerk zuzuführen, welches darauf trainiert ist, aus den Sensordaten Objekte und/oder Objekteigenschaften zu ermitteln. Die Sensordaten können dabei auf unterschiedliche Weise zur Verfügung gestellt werden.
Stammen die Sensordaten beispielsweise von einem Radarsensor, so können die Sensordaten beispielsweise eine Position im Sichtbereich des Sensors sowie mindestens eine weitere Eigenschaft, beispielsweise ein Rückstreukoeffizient oder Ähnliches umfassen. Bei einem ausgedehnten Objekt im Sichtbereich des Sensors können die Sensordaten somit Punktwolken mit zahlreichen Punkten umfassen. Zur Weiterverarbeitung, beispielsweise mittels eines neuronalen Netzwerks oder Ähnlichem, müssen diese ungeordneten Punktwolken in eine regelmäßige Struktur wie ein Raster bzw. Gitter überführt werden. Aufgrund der diskreten Abstände zwischen den einzelnen Gitterpunkten müssen die Sensordaten aus der ursprünglichen Punktwolke auf die diskreten Positionen des vorgegebenen Gitters überführt werden. Dies kann gegebenenfalls zu Ungenauigkeiten oder einer Reduktion des Informationsgehalts aufgrund der Diskretisierung führen.
Es ist daher eine Idee der vorliegenden Erfindung, dieser Erkenntnis Rechnung zu tragen und ein Konzept für den Übergang von Sensordaten aus einer ungeordneten Punktwolke in eine regelmäßige Datenstruktur zu schaffen, welche dazu geeignet ist, effizient und mit möglichst geringem Datenverlust weiterverarbeitet werden zu können. Hierzu ist für einen Übergang von Punkten einer ungeordneten Punktwolke in eine regelmäßige Struktur ein punktverarbeitendes neuronales Netz vorgesehen. Derartige punktverarbeitende neuronale Netze sind in der Lage, Informationen einer beliebigen Anzahl von Punkten bzw. Vektoren auf eine regelmäßige Struktur, beispielsweise einzelner Gitterzellen zu überführen. Hierbei kann durch die Verwendung eines punktverarbeitenden neuronalen Netzes die Aggregation von Informationen der Punkte auf die einzelnen Gitterzellen besonders effizient und mit einem sehr geringen Informationsfluss erfolgen. Die daraufhin bereitgestellte regelmäßige Datenstruktur in Form eines Gitters ist für eine Weiterverarbeitung beispielsweise mittels eines convolutional neural networks (CNN, faltendes neuronales Netz) sehr vorteilhaft bzw. zwingend erforderlich. Somit kann durch die entsprechende Transformation der Punktdaten aus einer zunächst unstrukturierten Punktwolke in die regelmäßige Struktur die hierfür erforderliche Datenstruktur effizient und mit möglichst geringem Datenverlust bereitgestellt werden.
Gemäß einer Ausführungsform umfassen die Punkte ferner Daten mit mindestens einer weiteren Eigenschaft des jeweiligen Punkts. Grundsätzlich kann es bei den weiteren Eigenschaften der Punkte um beliebige spezifische oder auch unspezifische Eigenschaften handeln. Insbesondere sind neben spezifischen Eigenschaften wie z.B. einem Radar-Rückstreukoeffizienten beispielsweise auch irgendwelchen unspezifischen Eigenschaften möglich, welche nicht konkret „erklärbare“ sind. In solchen Fällen kann ein nachgeschaltetes neuronales Netz auch auf solche unspezifischen Eigenschaften trainiert werden. Ferner ist es auch möglich, dass zu unterschiedlichen Punkten auch unterschiedliche Eigenschaften bereitgestellt werden
Gemäß einer Ausfuhrungsform umfasst das punktverarbeitenden neuronale Netz ein Kemel Point Convolution, KPConv, oder ein Graph Neural Network, GNN. Grundsätzlich sind jedoch auch beliebige andere geeignete punktverarbeitende neuronale Netze möglich, die in der Lage sind, Eigenschaften der Daten einer unstrukturierten Produktwolke effizient und verlustarm in eine regelmäßige Struktur zu überfuhren.
Gemäß einer Ausführungsform umfasst die Vorrichtung zur Verarbeitung der Sensordaten eine Verarbeitungseinrichtung. Diese Verarbeitungseinrichtung ist dazu ausgelegt, unter Verwendung der in den Ausgabedaten enthaltenen Informationen ein Objekt zu detektieren und/oder Eigenschaften eines Objektes zu ermitteln. Gemäß einer Ausführungsform kann es sich bei den Eigenschaften der Objekte um eine Position, eine Abmessung und/oder Orientierung der Objekte handeln. Darüber hinaus sind selbstverständlich auch beliebige andere Eigenschaften zur Charakterisierung der Objekte möglich. Beispielsweise können für ein detektiertes Objekt auch Oberflächeneigenschaften, Bewegungsrichtung oder Ähnliches ermittelt werden.
Gemäß einer Ausführungsform umfasst die Verarbeitungseinrichtung ein neuronales
Netzwerk. Dieses neuronale Netzwerk kann dazu ausgelegt sein, unter Verwendung der in der Ausgabedatenstruktur spezifizierten Informationen ein Objekt zu detektieren und/oder Eigenschaften eines Objektes zu ermitteln. Hierzu können je nach Anwendung beliebige geeignete neuronale Netze eingesetzt werden. Ein solches neuronales Netz kann zuvor durch geeignete Trainingsdaten auf die jeweilige Anwendung trainiert werden.
Gemäß einer Ausfiihrungsform umfasst die Verarbeitungsvorrichtung eine Filtereinrichtung. Die Filtereinrichtung kann dazu ausgelegt sein, die empfangenen Eingabe-Datenelemente zu filtern und/oder gemäß einer anderen vorbestimmten Vorschrift zu verarbeiten. Die Filterung bzw. Verarbeitung kann insbesondere erfolgen, bevor die Punkte auf die regelmäßige Ausgabedatenstruktur abgebildet werden.
Die Sensoreinrichtung, welche durch die erfindungsgemäße Vorrichtung verarbeitet werden, können beispielsweise von einem Radarsensor, einem LiDAR-Sensor, einem Ultraschallsensor und/oder einer Kamera bereitgestellt werden. Insbesondere kann es sich bei der Kamera um eine 3D-Kamera, beispielsweise eine Stereokamera oder eine Time- of-Flight-Kamera handeln.
Die obigen Ausgestaltungen und Weiterbildungen lassen sich, soweit sinnvoll, beliebig miteinander kombinieren. Weitere Ausgestaltungen, Weiterbildungen und Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich den Ausfiihrungsbeispielen beschriebenen Merkmalen der Erfindung. Insbesondere wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu den jeweiligen Grundformen der Erfindung hinzufiigen.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der Figuren erläutert. Dabei zeigen:
Fig. 1: eine schematische Darstellung eines Blockschaubilds eines Sensorsystems mit einer Vorrichtung zur Verarbeitung der Sensordaten gemäß einer Ausfiihrungsform; Fig. 2: eine schematische Darstellung eines Prinzipschaubilds zur Veranschaulichung der Verarbeitung von Sensordaten gemäß einer Ausführungsform; und
Fig. 3: ein Ablaufdiagramm, wie es einem Verfahren zur Verarbeitung von Sensordaten gemäß einer Ausfuhrungsform zugrunde hegt.
Beschreibung von Ausführungsformen
Figur 1 zeigt eine schematische Darstellung eines Blockschaubilds eines Sensorsystems gemäß einer Ausfuhrungsform. In dem Sensorsystem können mehrere Sensoren 2-i vorgesehen sein, welche ein Umfeld sensorisch erfassen und entsprechende Sensordaten bereitstellen. Bei den Sensoren 2-i kann es sich beispielsweise um Radarsensoren, Lidar- Sensoren, Ultraschallsensoren, Kameras oder beliebige andere geeignete Sensoren handeln, die dazu geeignet sind, Objekte in ihrem Umfeld, insbesondere einem vorgegebenen Sichtbereich zu detektieren. Ein Radarsensor kann beispielsweise Radarsignale emittieren, welche an Objekten gestreut und teilweise reflektiert werden. Daraufhin kann der Radarsensor die in Richtung des Radarsensors zurückreflektierten Radarechos empfangen und auswerten, um Informationen über Objekte im Umfeld des Radarsensors zu generieren. Beispielsweise kann ein solcher Radarsensor Informationen über einzelne Punkte bereitstellen, an denen die Radarsignale zumindest teilweise zurück zum Radarsensor reflektiert worden sind. Die Information über solche Punkte kann beispielsweise eine räumliche Position in Form eines Azimut- und/oder Elevationswinkels oder aber auch in kartesischen Koordinaten umfassen. Darüber hinaus können auch weitere Informationen, wie beispielsweise eine Relativgeschwindigkeit, ein Rückstreukoeffizient oder Ähnliches zu solchen Punkten spezifiziert werden. Bei ausgedehnten Objekten können dabei mehrere solche Punkte ausgegeben werden. Diese Punkte können beispielsweise als Punktwolke bezeichnet werden. Analog können auch andere Sensoren entsprechende Informationen über Punkte an Objekten im Umfeld bereitstellen. Insbesondere können auch beispielsweise 3D-Kameras als Stereokameras oder Time-of-Flight-Kameras ebenfalls räumliche Informationen über Objekte im Umfeld bereitstellen.
Grundsätzlich umfassen die Daten der einzelnen Punkte mindestens eine Position. Ferner können die Daten eines Punktes gegebenenfalls noch eine oder mehrere weiteren Eigenschaften umfassen. Hierbei kann es sich um beliebige spezifische oder auch unspezifische Eigenschaften handeln. Insbesondere sind neben spezifischen Eigenschaften wie z.B. einem Radar-Rückstreukoeffizienten o.ä. beispielsweise auch irgendwelchen unspezifischen Eigenschaften möglich, welche nicht konkret „erklärbare“ sind. In solchen Fällen kann ein nachgeschaltetes neuronales Netz auch auf solche unspezifischen Eigenschaften trainiert werden. Ferner ist es auch möglich, dass zu unterschiedlichen Punkten auch unterschiedliche Eigenschaften bereitgestellt werden.
Die von den Sensoren 2-i bereitgestellten Sensordaten können daraufhin beispielsweise in Form der zuvor beschriebenen Punkte bzw. Punktwolken an eine Vorrichtung 1 zur Verarbeitung der Sensordaten übermittelt werden. Diese Vorrichtung 1 kann die Sensordaten empfangen, verarbeiten und auf Grundlage dieser Sensordaten beispielsweise Objekte identifizieren und/oder Objektmerkmale von Objekten in dem Sichtbereich der Sensoren 2-i ermitteln. Insbesondere kann diese Auswertung der Sensordaten, wie nachfolgend noch erläutert wird, unter Verwendung eines neuronalen Netzwerkes oder Ähnlichem erfolgen.
Die Sensordaten von den Sensoren 2-i können grundsätzlich auf beliebige geeignete Weise an der Vorrichtung 1 bereitgestellt werden. Beispielsweise können die Sensordaten als eine ungeordnete Liste der einzelnen Punkte und deren Merkmal bzw. Merkmale an die Vorrichtung 1 übermittelt werden.
Die Sensordaten können von der Vorrichtung 1 zur Verarbeitung der Sensordaten empfangen und bei Bedarf zwischengespeichert werden. Optional kann eine Vorverarbeitungseinrichtung 13 vorgesehen sein, welche eine Vorverarbeitung, beispielsweise eine Filterung der empfangenen Sensordaten durchführt. Hierdurch kann zum Beispiel ein Rauschen in den Sensordaten reduziert werden oder beliebige andere Vorgänge zur Vorverarbeitung der Sensordaten ausgeführt werden.
Ferner ist in der Vorrichtung 1 zur Verarbeitung der Sensordaten eine Transfereinrichtung 11 vorgesehen. Dieser Transfereinrichtung 11 kann die noch in ungeordneter Form vorliegenden Sensordaten in Form von Punkten in eine regelmäßige Ausgabedatenstruktur überführen. In einer solchen regelmäßigen Struktur können die Sensordaten beispielsweise als Elemente eines zwei- oder mehrdimensionalen Gitters bereitgestellt werden. Bei dieser gewünschten regelmäßigen Datenstruktur kann es sich insbesondere um eine Datenstruktur handeln, wie sie für eine nachgeschaltete Verarbeitungseinrichtung 12 fur eine Weiterverarbeitung geeignet ist. Ist beispielsweise die Verarbeitungseinrichtung 12 dazu ausgelegt, die Daten in einem zweidimensionalen oder dreidimensionalen Gitter weiterzuverarbeiten, so kann die hierfür erforderliche Datenstruktur durch die Transfereinrichtungen 11 bereitgestellt werden.
Für die Abbildung bzw. die Projektion der Daten aus den Punkten der zunächst ungeordneten Datenwolke mit den Sensordaten in die regelmäßige Datenstruktur ist in der Transfereinrichtung 11 ein punktverarbeitendes neuronales Netz vorgesehen. Beispielsweise kann es sich bei diesem punktverarbeitenden neuronalen Netz um ein Kemel Point Convolution (KPConv) oder ein Graph Neural Network (GNN) handeln. Darüber hinaus sind sie verständlich auch beliebige andere geeignete punktverarbeitende neuronale Netze möglich. Das punktverarbeitenden neuronalen Netz kann hierbei zunächst gemäß den Anforderungen, insbesondere die gewünschte regelmäßige Ausgabedatenstruktur sowie gegebenenfalls gemäß der Datenstruktur der Eingabedaten geeignete Weise trainiert werden.
Die Ausgabedaten von der Transfereinrichtung 11, also die Daten in der gitterförmigen Datenstruktur gemäß den Anforderungen von der Verarbeitungseinrichtung 12 können daraufhin der Verarbeitungseinrichtung 12 zugeführt werden. Die Verarbeitungseinrichtung 12 wertet daraufhin die Daten in der bereitgestellten gitterförmigen Datenstruktur aus. Durch eine solche Auswertung kann die Verarbeitungseinrichtung 12 beispielsweise ein oder mehrere Objekte detektieren. Zusätzlich oder alternativ kann die Verarbeitungseinrichtung 12 auch Eigenschaften der detektierten Objekte ermitteln. Beispielsweise kann für ein detektiertes Objekt eine räumliche Lage, eine räumliche Ausdehnung, Materialeigenschaften, insbesondere Oberflächeneigenschaften oder Ähnliches ermittelt werden. Gegebenenfalls ist es auch möglich, eine Bewegungsrichtung und/oder eine Geschwindigkeit eines Objekts zu ermitteln. Selbstverständlich können auch beliebige andere geeignete Eigenschaften von Objekten unter Verwendung der Daten in der gitterförmigen Datenstruktur ermittelt werden.
Zur Verarbeitung der Daten kann die Verarbeitungseinrichtung 12 beispielsweise ein neuronales Netz nutzen. Ein solches neuronales Netz kann zuvor auf beliebige Weise trainiert werden. Figur 2 zeigt eine schematische Darstellung zur Veranschaulichung des Konzepts zur Übertragung der Sensordaten von den Sensoren 2-i in die regelmäßige Datenstruktur zur Weiterverarbeitung durch die Verarbeitungseinrichtung 12.
Wie hierbei dargestellt, kann beispielsweise durch die Sensoren 2-i eine Punktwolke 100 mit mehreren Punkten bereitgestellt werden. Die einzelnen Punkte repräsentieren hierbei jeweils Sensordaten. Neben einer räumlichen und/oder zeitlichen Position der einzelnen Punkte können die Punkte dabei ggf. jeweils mindestens eine weitere Eigenschaft, beispielsweise im Falle eines Radarsensors ein Rückstreukoeffizient. Grundsätzlich sind jedoch beliebige geeignete Eigenschaften möglich. Die einzelnen Daten können zum Beispiel in Form einer unstrukturierten Liste oder Ähnlichem in der Punktwolke 100 bereitgestellt werden.
Die Transfereinrichtung 11 kann die unstrukturierte Datenwolke 100 in eine regelmäßige Datenstruktur 110 überführen. Wie zuvor bereits ausgeführt, kann für die Abbildung bzw. Transformation der Punkte aus der unstrukturierten Datenwolke 100 in die regelmäßige Datenstruktur 110 ein punktverarbeitendes neuronales Netz sowie ein KPConv oder GNN genutzt werden. Dieses punktverarbeitende neuronale Netz kann zuvor gemäß den jeweiligen Anforderungen in geeigneter Weise trainiert werden.
Die regelmäßige Datenstruktur 110 kann daraufhin der Verarbeitungseinrichtung 12 bereitgestellt werden, und die Verarbeitungseinrichtung 12 kann daraufhin auf Grundlage dieser regelmäßigen bzw. gitterförmigen Datenstruktur Objekte detektieren und/oder Eigenschaften von Objekten ermitteln. Diese Informationen können daraufhin in beliebiger Weise weiterverarbeitet werden.
Beispielsweise können die Resultate der Verarbeitungseinrichtung 12 in einem Fahrerassistenzsystem bzw. einem System zum ganz oder zumindest teilweise autonomen Fahren eines Kraftfahrzeugs genutzt werden. Darüber hinaus sind jedoch auch beliebige andere geeignete Anwendungen möglich. Beispielsweise können die Informationen auch zur Überwachung eines Verkehrsraums durch eine stationäre Einrichtung genutzt werden.
Ferner können die Informationen über detektierte Objekte auch für eine Zugangskontrolle genutzt werden. Zum Beispiel kann die Objektdetektion auch eine Erkennung von Personen, insbesondere eine Gesichtserkennung umfassen. Ebenso ist es beispielsweise möglich, beliebige Bereiche innerhalb oder außerhalb eines Gebäudes sensorisch zu überwachen und auf Grundlage der Objektdetektion oder Klassifikation vorbestimmte Ereignisse zu triggern. Zum Beispiel kann bei der Erkennung eines unbefugten Zutritts, beispielsweise eines Einbruchs oder Ähnlichem, ein Alarm ausgelöst werden.
In alternativen Ausführungsformen kann die zuvor beschriebene Objektdetektion bzw. Klassifizierung auch in industriellen Systemen, beispielsweise in Produktionsanlagen oder Ähnlichem eingesetzt werden. Darüber hinaus sind selbstverständlich auch beliebige andere Anwendungen auf Grundlage der erfmdungsgemäßen Objektdetektion bzw. Klassifizierung unter Verwendung der Gitterdaten mehrerer Gitter mit unterschiedlicher Skalierung möglich.
Figur 3 zeigt ein Ablaufdiagramm, wie es einem Verfahren zur Verarbeitung von Sensordaten gemäß einer Ausführungsform zugrunde hegen kann. Das Verfahren kann grundsätzlich beliebige Schritte umfassen, wie sie zuvor bereits in Zusammenhang mit dem Sensorsystem bzw. der Vorrichtung 1 zur Verarbeitung der Sensordaten beschrieben worden sind. Ebenso können die zuvor beschriebenen Komponenten beliebige Elemente umfassen, wie sie nachfolgend in Zusammenhang mit dem Verfahren zur Verarbeitung der Sensordaten beschrieben sind.
In Schritt S1 werden wird eine Gruppe von Eingabe-Datenelementen empfangen. Jedes Eingabe-Datenelement umfasst dabei einen Punkt mit einer Position. Ferner können die Punkte gegebenenfalls auch mindestens einer weiteren Eigenschaft umfassen..
In Schritt S2 werden daraufhin Abbilden die Punkte der Gruppe von Eingabe- Datenelementen auf eine regelmäßige Ausgabedatenstruktur abgebildet. Diese Abbildung erfolgt, wie zuvor bereits ausgeführt, unter Verwendung eines punktverarbeitenden neuronalen Netzes.
Schließlich kann in Schritt S3 die generierte regelmäßige Ausgabedatenstruktur ausgegeben werden..
Daraufhin können in einem weiteren Schritt die Daten der regelmäßigen
Ausgabedatenstruktur verarbeitet werden, um Objekte zu detektieren und/oder Eigenschaften von Objekten zu ermitteln. Das Verarbeiten des Ausgabedaten kann insbesondere unter Verwendung eines neuronalen Netzwerkes erfolgen.
Zusammenfassend betrifft die vorliegende Erfindung die Verarbeitung von Sensordaten eines oder mehrerer Sensoren, wobei die Sensordaten als ungeordnete Punktwolke bereitgestellt werden. Die Punkte dieser ungeordneten. Folge werden daraufhin mittels eines punktverarbeitenden neuronalen Netzes in eine regelmäßige Struktur überfuhrt und zur Weiterverarbeitung bereitgestellt.

Claims

Ansprüche
1. Vorrichtung (1) zur Verarbeitung von Sensordaten, mit: eine Transfereinrichtung (11), die dazu ausgelegt ist, eine Gruppe von Eingabe- Datenelementen zu empfangen, wobei jedes Eingabe-Datenelement einen Punkt mit einer Position umfasst, und wobei die Transfereinrichtung (11) ein punktverarbeitendes neuronales Netz umfasst, das dazu ausgelegt ist, die Punkte der Gruppe von Eingabe-Datenelementen auf eine regelmäßige Ausgabedatenstruktur abzubilden.
2. Vorrichtung (1) nach Anspruch 1, wobei die Punkte ferner Daten mit mindestens einer weiteren Eigenschaft des jeweiligen Punkts umfassen.
3. Vorrichtung (1) nach einem der Ansprüche 1 oder 2, wobei das punktverarbeitende neuronale Netz ein Kemel Point Convolution, KPConv, oder ein Graph Neural Network, GNN, umfasst.
4. Vorrichtung (1) nach einem der Ansprüche 1 bis 3, mit einer Verarbeitungseinrichtung (12), die dazu ausgelegt ist, unter Verwendung der regelmäßigen Ausgabedatenstruktur ein Objekte zu detektieren und/oder Eigenschaften eines Objekts zu ermitteln.
5. Vorrichtung (1) nach Anspruch 4, wobei die Eigenschaften der Objekte eine Position, Abmessung und/oder Orientierung von Objekten umfassen
6. Vorrichtung (1) nach Anspruch 4 oder 5, wobei die Verarbeitungseinrichtung
(12) ein neuronales Netzwerk umfasst, das dazu ausgelegt ist, unter Verwendung der regelmäßigen Ausgabedatenstruktur ein Objekte zu detektieren und/oder Eigenschaften eines Objekts zu ermitteln.
7. Vorrichtung (1) nach einem der Ansprüche 1 bis 6, mit einer Filtereinrichtung
(13), die dazu ausgelegt ist, die empfangenen Eingabe-Datenelemente zu filtern und/oder gemäß einer vorbestimmten Vorschrift zu verarbeiten, bevor die Punkte auf die regelmäßige Ausgabedatenstruktur abgebildet werden.
8. Sensorsystem, mit: einer Sensoreinrichtung (2-i), die dazu ausgelegt ist, ein Umfeld sensorisch zu erfassen und Sensordaten bereitzustellen, wobei die Sensordaten als Punkte bereitgestellt werden; und einer Vorrichtung (1) zur Verarbeitung der Sensordaten nach einem der Ansprüche 1 bis 7.
9. Sensorsystem nach Anspruch 8, wobei die Sensoreinrichtung einen Radarsensor, einen Lidar-Sensor, einen Ultraschallsensor und/oder eine Kamera umfasst.
10. Verfahren zur Verarbeitung von Sensordaten, mit den Schritten:
Empfangen (Sl) einer Gruppe von Eingabe-Datenelementen, wobei jedes Eingabe- Datenelement einen Punkt mit einer Position umfasst;
Abbilden (S2) der Punkte der Gruppe von Eingabe-Datenelemente auf eine regelmäßige Ausgabedatenstruktur unter Verwendung eines punktverarbeitenden neuronalen Netzes; und
Ausgeben (S3) der regelmäßigen Ausgabedatenstruktur.
EP24701138.0A 2023-02-15 2024-01-16 Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem Pending EP4666108A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023201275.8A DE102023201275A1 (de) 2023-02-15 2023-02-15 Vorrichtung und Verfahren zur Verarbeitung von Sensordaten, Sensorsystem
PCT/EP2024/050850 WO2024170182A1 (de) 2023-02-15 2024-01-16 Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem

Publications (1)

Publication Number Publication Date
EP4666108A1 true EP4666108A1 (de) 2025-12-24

Family

ID=89662269

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24701138.0A Pending EP4666108A1 (de) 2023-02-15 2024-01-16 Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem

Country Status (6)

Country Link
EP (1) EP4666108A1 (de)
JP (1) JP2026504584A (de)
KR (1) KR20250150578A (de)
CN (1) CN120693541A (de)
DE (1) DE102023201275A1 (de)
WO (1) WO2024170182A1 (de)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214959A1 (de) 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Auswertung von Sensordaten mit einer erweiterten Objekterkennung
CN120765677A (zh) * 2021-12-31 2025-10-10 深圳市镭神智能系统有限公司 道路边缘检测方法、装置、电子设备及计算机可读存储介质
CN115631341A (zh) * 2022-12-21 2023-01-20 北京航空航天大学 一种基于多尺度特征投票的点云配准方法及系统

Also Published As

Publication number Publication date
JP2026504584A (ja) 2026-02-05
KR20250150578A (ko) 2025-10-20
WO2024170182A1 (de) 2024-08-22
DE102023201275A1 (de) 2024-08-22
CN120693541A (zh) 2025-09-23

Similar Documents

Publication Publication Date Title
EP3695244B1 (de) Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
DE102019009242B3 (de) Sensor mit Ultraschallsignalkompression auf Basis eines Annäherungsverfahrens mittels Signalobjektklassen
DE102020122086A1 (de) Messen von vertrauen in tiefen neuronalen netzwerken
DE102019200141A1 (de) Verfahren zum Erfassen von Teilbereichen eines Objekts
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
EP3430423B1 (de) Verfahren zur verbesserung einer erfassung zumindest eines objekts in einer umgebung eines kraftfahrzeugs durch eine indirekte messung mit sensoren, steuereinrichtung, fahrerassistenzsystem sowie kraftfahrzeug
DE102018222800A1 (de) Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
WO2024041833A1 (de) Visuelle wahrnehmung mit einem fahrzeug basierend auf einem kamerabild und einer ultraschallkarte
DE102016109762A1 (de) Kompressionsalgorithmen für fahrzeugbus-messaging von vorschaudaten
EP3809316A1 (de) Vorhersage eines strassenverlaufs auf basis von radardaten
DE102020213862B4 (de) Verfahren, Umgebungserfassungssystem und Computerprogramm zum Bereitstellen von Umgebungsdaten
DE102019200849A1 (de) Verfahren zum Erfassen einer Bewegung eines Objekts
DE102016105022A1 (de) Verfahren zum Erfassen zumindest eines Objekts in einer Umgebung eines Kraftfahrzeugs durch eine indirekte Messung mit Sensoren, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020128461A1 (de) System und Verfahren zur Erfassung des Umfelds eines Fahrzeugs
EP4445174A1 (de) Verfahren zum vermessen einer umgebung eines kraftfahrzeugs
EP4666108A1 (de) Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem
DE102022123499B3 (de) Computerimplementiertes Verfahren, Prozessorschaltung und Computerprogramm zum Prozessieren von aus einem Umgebungssensor empfangenen Messpunkten, insbesondere Radar-Messpunkten, für eine Objektdetektion sowie entsprechend ausgestattetes Kraftfahrzeug
DE102023210638A1 (de) Computerimplementiertes Verfahren zum Trainieren eines Modells sowie Verfahren und System zur Prädiktion des Verhaltens eines Verkehrsteilnehmers
WO2024170172A1 (de) Vorrichtung und verfahren zur verarbeitung von sensordaten, sensorsystem
WO2022117258A1 (de) Verfahren zur radarbasierten gestenklassifikation und radarsensor
DE102017218680B4 (de) Vorrichtung, Fortbewegungsmittel und Verfahren zur Unterstützung einer Führung eines ersten Fortbewegungsmittels durch eine Engstelle mittels extern ermittelter Umgebungsinformationen
DE102020204592A1 (de) Vorrichtung und Verfahren zur Verarbeitung von Radardaten und Radarsystem
EP4053593A1 (de) Verarbeitung von sensordaten in einem fortbewegungsmittel
DE102019213876A1 (de) FPGA Implementierung einer k-d-Baum-Datenstruktur zur Verarbeitung von Punktwolken in Realzeit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250915

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR