DE102022201637A1

DE102022201637A1 - Computer-implemented method and system for creating a virtual clone of a sensor

Info

Publication number: DE102022201637A1
Application number: DE102022201637.8A
Authority: DE
Inventors: Mohammad Alsharif; Istvan Hegedüs-Bite; Hubert Bichelmeier; Bastian Hubracht; Gowtham Perumalsamy; Ilker Bagci; Timm Muntel
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2023-08-17

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren und System zur Erzeugung eines virtuellen Klons eines Sensors. Das Verfahren umfasst Empfangen von ersten Sensordaten von einem ersten Sensor, wobei die ersten Sensordaten mindestens ein durch den ersten Sensor detektiertes erstes Objekt und mindestens eine Eigenschaft des ersten Objekts angeben. Das Verfahren umfasst ferner Empfangen von zweiten Sensordaten von einem zweiten Sensor, wobei die zweiten Sensordaten mindestens das durch den zweiten Sensor detektierte erste Objekt und die mindestens eine Eigenschaft des ersten Objekts angeben. Über ein neuronales Netz wird ein erster virtueller Klon des zweiten Sensors auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts erzeugt. Über den ersten virtuellen Klon werden erste Virtueller-Klon-Daten auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts erzeugt. Das Verfahren umfasst ferner Anpassen des ersten virtuellen Klons auf der Basis einer ersten Abweichung zwischen den Erster-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts über das neuronale Netz, um die erste Abweichung unter eine erste vorbestimmte Schwelle zu verringern.The invention relates to a computer-implemented method and system for creating a virtual clone of a sensor. The method includes receiving first sensor data from a first sensor, wherein the first sensor data indicates at least one first object detected by the first sensor and at least one characteristic of the first object. The method further includes receiving second sensor data from a second sensor, the second sensor data being indicative of at least the first object detected by the second sensor and the at least one characteristic of the first object. A first virtual clone of the second sensor is generated via a neural network on the basis of the at least one property of the first object contained in the first sensor data. First virtual clone data is generated via the first virtual clone on the basis of the at least one property of the first object contained in the first sensor data. The method further includes adjusting the first virtual clone based on a first deviation between the first virtual clone data and the at least one property of the first object contained in the second sensor data via the neural network to reduce the first deviation below a first predetermined one decrease threshold.

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren und ein System zur Erzeugung eines virtuellen Klons eines Sensors.The invention relates to a computer-implemented method and system for creating a virtual clone of a sensor.

Virtuelle Sensoren oder virtuelle Klone eines Sensors, die manchmal als Soft-Sensoren oder eSensors oder Folgerungssensoren bezeichnet werden, sind Computeralgorithmen, die auf der Basis des Maschinenlernmodells eines physischen Prozesses Daten erzeugen. Dank ihrer Effizienz und geringen Kosten ziehen virtuelle Sensoren die große Aufmerksamkeit aller Sparten der Herstellung auf sich.Virtual sensors or virtual clones of a sensor, sometimes referred to as soft sensors or eSensors or inference sensors, are computer algorithms that generate data based on the machine learning model of a physical process. Thanks to their efficiency and low cost, virtual sensors attract a lot of attention from all branches of manufacturing.

Einer der Vorteile von virtuellen Sensoren ergibt sich aus der Unabhängigkeit des Orts des virtuellen Sensors. Im Gegensatz zu einem physischen Sensor, der so angebracht und angeordnet werden muss, dass der physische Sensor z. B. eine Temperatur eines Arbeitswerkzeugs detektieren kann, existiert der virtuelle Sensor als Software und erfordert somit keine physische Installation. Außerdem können physische Sensoren teuer sein, eine begrenzte Lebensdauer aufweisen und fehlerhaft funktionieren. Die virtuellen Sensoren überwinden diese Nachteile, da Software nicht durch die Lebensdauer begrenzt wird und als Programm gekauft werden kann, was weniger kostspielig als der physische Sensor sein kann. Darüber hinaus können virtuelle Sensoren auch die Umweltlast verringern, da für die virtuellen Sensoren selbst keine Materialien notwendig sind. Das Interesse an virtuellen Sensoren nimmt deshalb zu.One of the advantages of virtual sensors derives from the independence of the location of the virtual sensor. In contrast to a physical sensor, which must be attached and arranged in such a way that the physical sensor e.g. B. can detect a temperature of a work tool, the virtual sensor exists as software and thus requires no physical installation. In addition, physical sensors can be expensive, have a limited lifespan, and malfunction. The virtual sensors overcome these disadvantages because software is not limited by lifetime and can be purchased as a program, which can be less expensive than the physical sensor. In addition, virtual sensors can also reduce the environmental burden since no materials are required for the virtual sensors themselves. The interest in virtual sensors is therefore increasing.

Ein Ansatz zur Erzeugung eines virtuellen Sensors basiert auf der Entwicklung eines mathematischen Modells, das, wenn ihm einige spezifische Eingaben zugeführt werden, ähnliche oder identische Ausgaben wie ein physischer Sensor geben würde. Dieser Ansatz begrenzt jedoch die virtuellen Sensoren insofern, als er stark von dem bestimmten mathematischen Modell abhängt.One approach to creating a virtual sensor is based on developing a mathematical model that, given some specific inputs, would give similar or identical outputs as a physical sensor. However, this approach limits the virtual sensors in that it is highly dependent on the particular mathematical model.

Eine Aufgabe der vorliegenden Erfindung ist somit die Bereitstellung eines Verfahrens und eines Systems zur Erzeugung eines virtuellen Klons eines Sensors, die einen oder mehrere der oben erwähnten Nachteile überwinden können. Eine weitere Aufgabe der vorliegenden Erfindung ist die Bereitstellung eines Verfahrens und eines Systems zur Erzeugung virtueller Klone, die als alternative, zuverlässige und billige Lösung für die Abwesenheit physischer Sensoren aufgrund von Ausfällen, Kostenreduktion oder anderen Gründen dienen können.It is therefore an object of the present invention to provide a method and a system for creating a virtual clone of a sensor, which can overcome one or more of the disadvantages mentioned above. Another object of the present invention is to provide a method and a system for creating virtual clones, which can serve as an alternative, reliable and cheap solution to the absence of physical sensors due to failure, cost reduction or other reasons.

Die Aufgabe wird gemäß einem ersten Aspekt der Erfindung gelöst durch ein computerimplementiertes Verfahren zum Erzeugen eines virtuellen Klons eines Sensors. Das Verfahren umfasst Empfangen von ersten Sensordaten von einem ersten Sensor, wobei die ersten Sensordaten mindestens ein durch den ersten Sensor detektiertes erstes Objekt und mindestens eine Eigenschaft des ersten Objekts angeben, und Empfangen von zweiten Sensordaten von einem zweiten Sensor, wobei die zweiten Sensordaten mindestens das durch den zweiten Sensor detektierte erste Objekt und die mindestens eine Eigenschaft des ersten Objekts angeben. Ferner umfasst das Verfahren Erzeugen eines ersten virtuellen Klons des zweiten Sensors auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts über ein neuronales Netz; und Erzeugen von ersten Virtueller-Klon-Daten auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts über den ersten virtuellen Klon; und Anpassen des ersten virtuellen Klons auf der Basis einer ersten Abweichung zwischen den Erster-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts über das neuronale Netz, um die erste Abweichung unter eine erste vorbestimmte Schwelle zu verringern.According to a first aspect of the invention, the object is achieved by a computer-implemented method for generating a virtual clone of a sensor. The method includes receiving first sensor data from a first sensor, the first sensor data indicating at least one first object detected by the first sensor and at least one property of the first object, and receiving second sensor data from a second sensor, the second sensor data at least that first object detected by the second sensor and indicate the at least one property of the first object. Furthermore, the method comprises generating a first virtual clone of the second sensor based on the at least one property of the first object contained in the first sensor data via a neural network; and generating first virtual clone data based on the at least one characteristic of the first object contained in the first sensor data via the first virtual clone; and adjusting the first virtual clone based on a first deviation between the first virtual clone data and the at least one characteristic of the first object contained in the second sensor data via the neural network to reduce the first deviation below a first predetermined threshold .

Gemäß der Erfindung konzentriert man sich auf die Benutzung eines neuronalen Netzes (künstliche Intelligenz AI) bei der Erzeugung von virtuellen Klonen (virtuellen Sensoren) eines existierenden Sensors. Im Gegensatz zu den virtuellen Sensoren auf Modellbasis wird kein mathematisches Modell benötigt, und daher wird enorme Verarbeitungsleistung und Komplexität vermieden. Die entwickelten virtuellen Sensoren, die ein neuronales Netz verwenden, haben eine enorme Vielfalt von Anwendung, wobei die virtuellen Sensoren als alternative, zuverlässige und billige Lösung für die Abwesenheit physischer Sensoren aufgrund von Ausfällen, Kostenreduktion und/oder anderen Gründen dienen können. Solche Anwendungen wären zum Beispiel, aber ohne Beschränkung darauf, virtuelle Klone von Sensoren von Fahrzeugen, insbesondere mindestens teilweise automatisierten Fahrzeugen wie Autos, Lastwagen, Motorräder, Motorroller, Schiffe und Flugzeuge. Weitere Anwendungen sind Roboter, Produktionslinien, Sensorsystem oder eine beliebige Anwendung, die einen oder mehrere Sensoren aufweist. Die Anwendungen von Sensoren sind vielfältig und die Erfindung kann für jede Anwendung, die einen oder mehrere Sensoren aufweist, implementiert werden.According to the invention, one focuses on the use of a neural network (Artificial Intelligence AI) in the creation of virtual clones (virtual sensors) of an existing sensor. In contrast to the model-based virtual sensors, no mathematical model is required and therefore enormous processing power and complexity is avoided. The developed virtual sensors using a neural network have an enormous variety of applications, where the virtual sensors can serve as an alternative, reliable and cheap solution to the absence of physical sensors due to failures, cost reduction and/or other reasons. Such applications would include, but are not limited to, virtual clones of sensors of vehicles, particularly at least partially automated vehicles such as cars, trucks, motorcycles, scooters, ships, and airplanes. Other applications are robots, production lines, sensor system or any application that has one or more sensors. The applications of sensors are diverse and the invention can be implemented for any application that has one or more sensors.

In der vorliegenden Anmeldung bedeutet ein virtueller Klon oder ein virtueller Sensor, dass ein physisch existierender Sensor, wie zum Beispiel eine Kamera, ein Lidarsensor, ein Temperatursensor, ein Ultraschallsensor, ein Radar, ein Geschwindigkeitssensor, ein Positionsbestimmungssensor, wie etwa ein GPS-Sensor usw., ein anderer virtueller Sensor oder eine beliebige Kombination physischer existierender und virtueller Sensoren in der Form einer eigens programmierten existierenden Version des Sensors oder der Sensorkombination kopiert/geklont wird. Somit kann der virtuelle Klon als ein Programm behandelt werden, das in einem Speicher gespeichert werden kann. Dieses Programm erhält dann Daten, die z. B. von den physisch existierenden Sensoren, einer Datenbank oder einem anderen virtuellen Sensor empfangen werden, und ist dafür ausgelegt, Daten auf der Basis der erhaltenen Daten auszugeben.In the present application, a virtual clone or virtual sensor means that a physically existing sensor such as a camera, lidar sensor, temperature sensor, ultrasonic sensor, radar, speed sensor, positioning sensor such as a GPS sensor, etc ., another virtual sensor or any combination of physical existing and virtual sensors is copied/cloned in the form of a specially programmed existing version of the sensor or sensor combination. Thus, the virtual clone can be treated as a program that can be stored in memory. This program then receives data z. B. received from the physically existing sensors, a database or another virtual sensor, and is designed to output data based on the received data.

Das neuronale Netz kann ein Maschinenlernalgorithmus sein. Das neuronale Netz kann in einem Speicher, einem Netzwerk und/oder einer Cloud gespeichert werden.The neural network can be a machine learning algorithm. The neural network can be stored in a memory, a network and/or a cloud.

Die ersten, die zweiten und beliebige weitere Sensordaten können zwei, drei oder mehr Eigenschaften des ersten Objekts und/oder eines beliebigen weiteren Objekts angeben. Die Eigenschaften des jeweiligen Objekts können verschieden sein.The first, the second and any other sensor data can indicate two, three or more properties of the first object and/or any other object. The properties of the respective object can be different.

Das neuronale Netz kann an Simulationsdaten sowie an realen Daten trainiert werden, entweder im Labor oder in Echtzeit, während das Fahrzeug fährt.The neural network can be trained on simulation data as well as real-world data, either in the lab or in real time while the vehicle is driving.

Die Schritte des Erzeugens des ersten virtuellen Klons und/oder eines beliebigen virtuellen Klons und/oder der Schritt des Erzeugens jeweiliger Virtueller-Klon-Daten über den jeweiligen virtuellen Klon können auf zwei, drei oder mehr Eigenschaften des ersten und/oder eines beliebigen weiteren Objekts basieren. Der Schritt des Anpassens des jeweiligen virtuellen Klons über das neuronale Netz kann auf einer jeweiligen Abweichung zwischen den jeweiligen Virtueller-Klon-Daten und mindestens einer der zwei, drei oder mehr Eigenschaften des jeweiligen Objekts basieren.The steps of creating the first virtual clone and/or any virtual clone and/or the step of creating respective virtual clone data about the respective virtual clone can be based on two, three or more properties of the first and/or any further object based. The step of adjusting the respective virtual clone via the neural network can be based on a respective deviation between the respective virtual clone data and at least one of the two, three or more properties of the respective object.

Außerdem können die Schritte des Erzeugens des ersten virtuellen Klons und/oder eines beliebigen virtuellen Klons und/oder der Schritt des Erzeugens jeweiliger Virtueller-Klon-Daten auf weiteren Daten der jeweiligen Sensordaten basieren, insbesondere können die Schritte auf den vollständigen jeweiligen Sensordaten basieren.In addition, the steps of generating the first virtual clone and/or any virtual clone and/or the step of generating respective virtual clone data can be based on further data of the respective sensor data, in particular the steps can be based on the complete respective sensor data.

Das Verfahren kann ferner Empfangen von dritten Sensordaten von einem dritten Sensor umfassen, wobei die dritten Sensordaten mindestens das durch den dritten Sensor detektierte erste Objekt und die mindestens eine Eigenschaft des ersten Objekts angeben. Die Schritte des Erzeugens des ersten virtuellen Klons und Erzeugens der Erster-Virtueller-Klon-Daten können ferner auf der in den dritten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts basieren, wobei der Schritt des Anpassens des ersten virtuellen Klons ferner auf einer zweiten Abweichung zwischen den virtuellen Sensordaten des ersten virtuellen Klons und der in den dritten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts basiert, um die zweite Abweichung unter eine zweite vorbestimmte Schwelle zu verringern.The method may further include receiving third sensor data from a third sensor, the third sensor data being indicative of at least the first object detected by the third sensor and the at least one characteristic of the first object. The steps of creating the first virtual clone and creating the first virtual clone data may further be based on the at least one property of the first object contained in the third sensor data, wherein the step of adjusting the first virtual clone is further based on a second deviation between the virtual sensor data of the first virtual clone and the at least one property of the first object contained in the third sensor data to reduce the second deviation below a second predetermined threshold.

Der zweite Sensor und der erste und/oder dritte Sensor können von einer selben Art von Sensor sein oder die Art des Sensors des zweiten Sensors kann von der Art des Sensors des ersten und/oder dritten Sensors verschieden sein. Die Art des Sensors kann eine von Kameras, Lidarsensoren, Radarsensoren, akustischen Sensoren, Temperatursensoren, Ultraschallsensoren, Positionsbestimmungssensoren und Geschwindigkeitssensoren sein. Zusätzlich oder als Alternative kann die Art von Sensor virtuelle Klone beliebiger Sensoren und/oder weitere Sensoren umfassen.The second sensor and the first and/or third sensor can be of the same type of sensor or the type of sensor of the second sensor can be different from the type of sensor of the first and/or third sensor. The type of sensor can be one of cameras, lidar sensors, radar sensors, acoustic sensors, temperature sensors, ultrasonic sensors, positioning sensors, and speed sensors. Additionally or alternatively, the type of sensor may include virtual clones of any sensors and/or other sensors.

Die ersten und/oder dritten Sensordaten können ferner mindestens ein durch den ersten und/oder dritten Sensor detektiertes zweites Objekt und mindestens eine Eigenschaft des zweiten Objekts angeben, wobei die zweiten Sensordaten ferner das durch den zweiten Sensor detektierte mindestens eine zweite Objekt und die mindestens eine Eigenschaft des zweiten Objekts angeben. Das Verfahren kann ferner Folgendes umfassen: Erzeugen eines zweiten virtuellen Klons des zweiten Sensors auf der Basis der in den ersten und/oder dritten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts über das neuronale Netz; Erzeugen von Zweiter-Virtueller-Klon-Daten auf der Basis der in den ersten und/oder dritten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts über den zweiten virtuellen Klon; und Anpassen des zweiten virtuellen Klons auf der Basis einer dritten Abweichung zwischen den Zweiter-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts über das neuronale Netz, um die dritte Abweichung unter eine dritte vorbestimmte Schwelle zu verringern. Somit können mehr Objekte durch die jeweiligen Sensoren detektiert werden und es können entsprechende virtuelle Sensoren erzeugt werden. Dementsprechend kann ein virtueller Klon des zweiten Sensors für jedes durch den ersten und zweiten Sensor detektierte interessierende Objekt erzeugt werden.The first and/or third sensor data can also specify at least one second object detected by the first and/or third sensor and at least one property of the second object, the second sensor data also specifying the at least one second object detected by the second sensor and the at least one Specify property of second object. The method may further include: generating a second virtual clone of the second sensor based on the at least one property of the second object contained in the first and/or third sensor data via the neural network; generating second virtual clone data based on the at least one property of the second object contained in the first and/or third sensor data via the second virtual clone; and adjusting the second virtual clone based on a third deviation between the second virtual clone data and the at least one property of the second object contained in the second sensor data via the neural network to reduce the third deviation below a third predetermined threshold . Thus more objects can be detected by the respective sensors and corresponding virtual sensors can be generated. Accordingly, a virtual clone of the second sensor can be created for each object of interest detected by the first and second sensors.

Der erste, zweite und jeder beliebige weitere virtuelle Klon können durch das neuronale Netz erzeugt werden. Anders ausgedrückt, kann ein einziges neuronales Netz verwendet werden, um die virtuellen Klone zu erzeugen. Als Alternative kann das neuronale Netz mehrere neuronale Subnetze umfassen. Insbesondere kann das neuronale Netz ein erstes und ein zweites neuronales Subnetz umfassen, wobei das erste und zweite neuronale Subnetz den ersten bzw. zweiten virtuellen Klon erzeugen und anpassen. Die neuronalen Subnetze können in demselben Speicher oder in verschiedenen Speichern, Netzwerken und/oder Clouds verteilt sein. Dementsprechend kann jedes neuronale Subnetz nur für ein Objekt verwendet werden, was die insgesamten rechnerischen Ressourcen für jedes neuronale Subnetz verglichen mit dem Fall, dass ein einziges neuronales Netz die virtuellen Klone erzeugt, verringern kann. Die Erzeugung und Anpassung der virtuellen Klone durch die neuronalen Subnetze kann somit verglichen mit dem einzigen neuronalen Netz schneller sein.The first, second and any further virtual clone can be generated by the neural network. In other words, a single neural network can be used to create the virtual clones. Alternatively, the neural network may include multiple neural subnets. In particular, the neural network can include a first and a second neural subnet, wherein the first and second neural subnets create and adapt the first and second virtual clones, respectively. The neural subnets can be distributed in the same storage or in different storages, networks and/or clouds. Accordingly, each neural subnet can be used for only one object, which can reduce the total computational resources for each neural subnet compared to the case where a single neural network creates the virtual clones. The creation and adaptation of the virtual clones by the neural subnets can thus be faster compared to the single neural network.

Das erste und zweite Objekt können von einer ersten und einer zweiten Art von Objektkategorie sein, die verschieden sind, wobei das erste und zweite neuronale Subnetz für die erste bzw. die zweite Art von Objektkategorie verwendet werden. Die erste und zweite Art von Objektkategorien können Fahrzeuge, Fußgänger, Straßenschilder, Straßen, Hindernisse, Straßenbenutzer, Wetter oder eine beliebige Art von benutzerspezifizierter Objektkategorie sein. Somit kann es ein neuronales Subnetz geben, das nur für Fußgänger und deshalb z. B. Fußgängerdetektion verwendet wird. Ein anderes neuronales Subnetz kann nur für Straßenschilder, ein weiteres nur für Fahrzeuge verwendet werden usw.The first and second objects may be of a first and second type of object category that are different, with the first and second neural subnets being used for the first and second type of object category, respectively. The first and second types of object categories can be vehicles, pedestrians, street signs, roads, obstacles, road users, weather, or any type of user-specified object category. Thus, there can be a neural subnet that is only for pedestrians and therefore e.g. B. pedestrian detection is used. Another neural subnet can be used only for street signs, another only for vehicles, and so on.

Die mindestens eine Eigenschaft des ersten und/oder zweiten Objekts kann eine Distanz zwischen dem jeweiligen Sensor und dem ersten oder zweiten Objekt, eine Geschwindigkeit, eine physikalische Eigenschaft, eine Größe, eine Temperatur, eine Orientierung, eine Position und/oder eine Richtungsbewegung des ersten oder zweiten Objekts sein. Die mindestens eine Eigenschaft des ersten und/oder zweiten Objekts kann eine benutzerspezifizierte Eigenschaft sein.The at least one property of the first and/or second object can be a distance between the respective sensor and the first or second object, a speed, a physical property, a size, a temperature, an orientation, a position and/or a directional movement of the first or second object. The at least one property of the first and/or second object can be a user-specified property.

Der Schritt des Empfangens der ersten, zweiten und/oder dritten Sensordaten kann ferner Folgendes umfassen: Empfangen der jeweiligen Sensordaten, die das erste und/oder zweite Objekt angeben, von dem jeweiligen Sensor; mindestens teilweises Umsetzen der empfangenen Sensordaten dergestalt, dass die Sensordaten die mindestens eine Eigenschaft des ersten und/oder zweiten Objekts angeben; und/oder Extrahieren der mindestens einen Eigenschaft des ersten und/oder zweiten Objekts von den empfangenen Sensordaten. Die Schritte des Umsetzens und/oder Extrahierens können über ein erstes bis drittes neuronales Extraktionsnetz ausgeführt werden, wobei das erste bis dritte neuronale Extraktionsnetz zum Umsetzen und/oder Extrahieren jeweils der ersten bis dritten Sensordaten verwendet werden. Diese neuronalen Extraktionsnetze können in dem neuronalen Netz enthalten sein. Als Alternative kann jedes neuronale Subnetz eines des ersten bis dritten neuronalen Extraktionsnetzes umfassen. Als Alternative können die neuronalen Extraktionsnetze getrennte neuronale Netze sein. Mindestens eines des ersten bis dritten neuronalen Extraktionsnetzes kann ein trainiertes neuronales Extraktionsnetz sein. Das trainierte neuronale Extraktionsnetz kann auf der Basis der jeweiligen Sensordaten trainiert werden, um das Umsetzen und/oder Extrahieren durchzuführen. Die Schritte des Umsetzens und/oder Extrahierens können implementiert werden, um die Datenlast für die Schritte des Erzeugens des jeweiligen virtuellen Klons, des Erzeugens jeweiliger Virtueller-Klon-Daten und des Anpassens des jeweiligen virtuellen Klons zu verringern. Zusätzlich oder als Alternative können abhängig von der Art des Sensors die entsprechenden Sensordaten die mindestens eine Eigenschaft des Objekts nicht direkt angeben. Zum Beispiel ist die mindestens eine Eigenschaft die Geschwindigkeit eines Fußgängers, und der erste Sensor ist eine Kamera, während der zweite Sensor ein Geschwindigkeitssensor ist. Die Kamera ist ausgelegt zum Aufnehmen von Bildern und/oder eines beweglichen Bildes, und der Geschwindigkeitssensor ist ausgelegt zum Detektieren einer Geschwindigkeit eines Objekts, hier einer Geschwindigkeit des auf einer Straße laufenden Fußgängers. Die aufgenommenen Bilder geben die Geschwindigkeit des Fußgängers jedoch nicht direkt an. Eine Geschwindigkeit kann aus den Kameradaten (aufgenommenen Bildern) durch Vergleichen aufeinanderfolgender Einzelbilder (Bilder) miteinander abgeleitet werden, z. B. kann die Position des Fußgängers in einem ersten Einzelbild mit der Position desselben Fußgängers in einem zweiten Einzelbild verglichen werden, woraus ein Algorithmus, insbesondere eines der neuronalen Extraktionsnetze, ableiten kann, dass der Fußgänger in einem Zeitraum von dem ersten zu dem zweiten Einzelbild 10 Meter gegangen ist. Auf der Basis der Distanz und des Zeitraums kann die Geschwindigkeit des Fußgängers bestimmt werden. Dementsprechend kann eine Nachverarbeitung der Daten des Sensors erforderlich sein.The step of receiving the first, second and/or third sensor data may further comprise: receiving from the respective sensor the respective sensor data indicative of the first and/or second object; at least partially converting the received sensor data such that the sensor data indicate the at least one property of the first and/or second object; and/or extracting the at least one property of the first and/or second object from the received sensor data. The steps of converting and/or extracting may be performed via first to third extraction neural networks, wherein the first to third extraction neural networks are used to convert and/or extract the first to third sensor data, respectively. These extraction neural networks can be included in the neural network. Alternatively, each neural subnet may include one of the first through third extraction neural networks. Alternatively, the extraction neural networks can be separate neural networks. At least one of the first to third extraction neural networks may be a trained extraction neural network. The trained neural extraction network can be trained on the basis of the respective sensor data in order to perform the conversion and/or extraction. The converting and/or extracting steps may be implemented to reduce the data load for the steps of creating each virtual clone, creating each virtual clone data, and adjusting each virtual clone. Additionally or alternatively, depending on the type of sensor, the corresponding sensor data may not directly indicate the at least one property of the object. For example, the at least one characteristic is the speed of a pedestrian and the first sensor is a camera while the second sensor is a speed sensor. The camera is designed to capture images and/or a moving image, and the speed sensor is designed to detect a speed of an object, here a speed of the pedestrian walking on a road. However, the captured images do not directly indicate the speed of the pedestrian. A speed can be derived from the camera data (recorded images) by comparing consecutive frames (images) with each other, e.g. B. the position of the pedestrian in a first frame can be compared with the position of the same pedestrian in a second frame, from which an algorithm, in particular one of the neural extraction networks, can derive that the pedestrian in a period of time from the first to the second frame 10 meters has gone. Based on the distance and time period, the pedestrian's speed can be determined. Accordingly, post-processing of the sensor data may be necessary.

Der Schritt des Erzeugens eines jeweiligen virtuellen Klons kann ferner Folgendes umfassen: Erzeugen des jeweiligen virtuellen Klons über das neuronale Netz oder eines der neuronalen Subnetze ferner auf der Basis mindestens eines des ersten bis dritten neuronalen Extraktionsnetzes. Dementsprechend kann der erzeugte virtuelle Klon als Kombination des jeweiligen Sensors und eines beliebigen des ersten bis dritten neuronalen Extraktionsnetzes angesehen werden. Der Schritt des Erzeugens des virtuellen Klons umfasst mindestens Erzeugen eines virtuellen Klons des zweiten Sensors. Außerdem kann das Erzeugen des virtuellen Klons Erzeugen des virtuellen Klons für mehr als den zweiten Sensor umfassen, insbesondere den virtuellen Klon des zweiten Sensors und mindestens eines des ersten bis dritten neuronalen Extraktionsnetzes.The step of creating a respective virtual clone may further include: creating the respective virtual clone via the neural network or one of the neural subnets further based on at least one of the first to third extraction neural networks. Accordingly, the generated virtual clone can be regarded as a combination of each sensor and any one of the first to third extraction neural networks. The step of creating the virtual clone comprises at least creating a virtual clone of the second sensor. Additionally, creating the virtual clone may include creating the virtual clone for more than the second sensor, particularly the virtual clone of the second sensor and at least one of the first to third extraction neural networks.

Mindestens eine der ersten bis dritten vorbestimmten Schwelle kann auf einer Genauigkeit der mindestens einen Eigenschaft, einer Übertragungsgeschwindigkeit der jeweiligen Sensordaten, einer Umsetzungsgeschwindigkeit des Umsetzens der empfangenen Sensordaten und/oder einer Extraktionsgeschwindigkeit des Extrahierens der mindestens einen Eigenschaft basieren. Als Alternative oder zusätzlich kann mindestens eine der ersten bis dritten vorbestimmten Schwelle auf einer Anwendung der ersten und/oder zweiten Sensordaten basieren. Die Übertragungsgeschwindigkeit der ersten und/oder zweiten Sensordaten kann von einer Infrastruktur eines Netzwerks abhängen, das die ersten und/oder zweiten Sensordaten übertragen hat, und/oder von der Menge an Daten der ersten und/oder zweiten Sensordaten. Die Umsetzungsgeschwindigkeit des Umsetzens sowie die Extraktionsgeschwindigkeit des Extrahierens kann von dem ersten und/oder zweiten Sensor und von der mindestens einen Eigenschaft abhängen, die die ersten und/oder zweiten Daten angeben sollen. Zusätzlich oder als Alterative können die Umsetzungsgeschwindigkeit des Umsetzens sowie die Extraktionsgeschwindigkeit von einem zum Umsetzen verwendeten Umsetzungsmechanismus oder einem zum Extrahieren verwendeten Extraktionsmechanismus abhängen. Die Anwendung kann eine benutzerspezifizierte Anwendung, eine Fahrzeugdetektionsanwendung, eine Fußgängerdetektionsanwendung, eine Distanzdetektionsanwendung, eine Geschwindigkeitsdetektionsanwendung, eine Temperaturdetektionsanwendung oder eine beliebige weitere Anwendung, bei der Sensoren verwendet werden, sein. Abhängig von der Anwendung kann es notwendig sein, dass beliebige der ersten bis dritten vorbestimmten Schwelle z. B. 5% sind, während für eine andere Anwendung die Schwellen z. B. 15% sein können. Zum Beispiel ist es für ein mindestens teilweise automatisiertes Fahrzeug entscheidend, Fußgänger mit einem hohen Genauigkeitsgrad zu detektieren. Somit können die erste, zweite und/oder dritte vorbestimmte Schwelle 2% sein, woraus folgt, dass nur eine Abweichung von 2% zwischen dem virtuellen Klon und dem entsprechenden geklonten Sensor existiert. Eine andere Anwendung kann die Detektion des aktuellen Wetters sein, wobei die vorbestimmten Schwellen 5% sein können. Die erste bis dritte vorbestimmte Schwelle können verschieden oder mindestens teilweise gleich sein.At least one of the first to third predetermined thresholds can be based on an accuracy of the at least one property, a transmission speed of the respective sensor data, a conversion speed of the conversion of the received sensor data and/or an extraction speed of the extraction of the at least one property. Alternatively or additionally, at least one of the first through third predetermined thresholds may be based on an application of the first and/or second sensor data. The transmission speed of the first and/or second sensor data can depend on an infrastructure of a network that has transmitted the first and/or second sensor data and/or on the amount of data of the first and/or second sensor data. The conversion speed of the conversion and the extraction speed of the extraction can depend on the first and/or second sensor and on the at least one property that the first and/or second data are intended to indicate. Additionally or alternatively, the conversion rate of the conversion as well as the extraction rate may depend on a conversion mechanism used for conversion or an extraction mechanism used for extraction. The application can be a user-specified application, a vehicle detection application, a pedestrian detection application, a distance detection application, a speed detection application, a temperature detection application, or any other application that uses sensors. Depending on the application it may be necessary that any of the first to third predetermined thresholds e.g. 5%, while for another application the thresholds are e.g. B. can be 15%. For example, it is crucial for an at least partially automated vehicle to detect pedestrians with a high degree of accuracy. Thus, the first, second and/or third predetermined threshold may be 2%, implying that there is only a 2% deviation between the virtual clone and the corresponding cloned sensor. Another application can be the detection of the current weather, where the predetermined thresholds can be 5%. The first through third predetermined thresholds may be different or at least partially the same.

Die Abweichung hängt mit der Wichtigkeit der Anwendung zusammen, z. B. sollte die Abweichung minimal sein, wenn die Anwendung Fußgänger detektiert, kann aber sehr gelockert werden, wenn die Anwendung den Regensensor kopieren soll.The deviation is related to the importance of the application, e.g. B. The deviation should be minimal if the application detects pedestrians, but can be relaxed a lot if the application is supposed to copy the rain sensor.

Das Verfahren kann ferner eine Lernphase, die beliebige der oben erwähnten Schritte umfasst, und eine Praxisphase umfassen. Die Lernphase ist die Phase des Erzeugens des virtuellen Klons und des Anpassens desselben, bis die Abweichung unter der jeweiligen vorbestimmten Schwelle liegt. Nach dem Erreichen dieses Punkts kann das Lernen oder Trainieren des virtuellen Sensors abgeschlossen sein, und der virtuelle Sensor kann für die Praxis verwendet werden. In der Praxisphase kann das Verfahren ferner Folgendes umfassen: Empfangen beliebiger der ersten und dritten Sensordaten sowie der zweiten Sensordaten, Eingeben beliebiger der ersten und dritten Sensordaten und/oder der mindestens einen in den ersten und/oder dritten Sensordaten enthaltenen Eigenschaft in den virtuellen Klon und Vergleichen der Virtueller-Klon-Daten mit der mindestens einen in den zweiten Sensordaten enthaltenen Eigenschaft. Auf der Basis des Vergleichs kann eine Sicherheitsabweichung zwischen den Virtueller-Klon-Daten und der mindestens einen in den zweiten Sensordaten enthaltenen Eigenschaft bestimmt werden. Wenn die Sicherheitsabweichung unter einer vorbestimmten Sicherheitsschwelle liegt, funktioniert der zweite Sensor ordnungsgemäß. Wenn die Sicherheitsabweichung der vorbestimmten Sicherheitsschwelle entspricht oder höher als diese ist, kann der zweite Sensor fehlerhaft funktionieren und die zweiten Sensordaten werden ignoriert. Somit können beschädigte Daten eliminiert werden und die Wahrscheinlichkeit der Fehlinterpretation der Daten wird verringert. Außerdem können die Virtueller-Klon-Daten anstelle der zweiten Sensordaten verwendet werden, wenn der zweite Sensor fehlerhaft funktioniert und/oder die zweiten Sensordaten beschädigt sind.The method may further include a learning phase, comprising any of the steps mentioned above, and a practice phase. The learning phase is the phase of creating the virtual clone and adjusting it until the deviation is below the respective predetermined threshold. After reaching this point, the learning or training of the virtual sensor can be completed, and the virtual sensor can be used for practice. In the practice phase, the method may further include: receiving any of the first and third sensor data and the second sensor data, entering any of the first and third sensor data and/or the at least one property contained in the first and/or third sensor data into the virtual clone and comparing the virtual clone data to the at least one property contained in the second sensor data. Based on the comparison, a safety margin between the virtual clone data and the at least one property contained in the second sensor data can be determined. If the safety margin is below a predetermined safety threshold, the second sensor is functioning properly. If the safety margin is equal to or greater than the predetermined safety threshold, the second sensor may be malfunctioning and the second sensor data is ignored. Thus, corrupted data can be eliminated and the likelihood of misinterpreting the data is reduced. In addition, the virtual clone data can be used in place of the second sensor data if the second sensor is malfunctioning and/or the second sensor data is corrupted.

Die Aufgabe wird gemäß einem zweiten Aspekt der Erfindung gelöst durch ein Computerprogrammprodukt zur Erzeugung eines virtuellen Klons eines Sensors, das Anweisungen umfasst, die bewirken, dass ein Prozessor das Verfahren nach der ersten Ausführungsform ausführt, wenn das Programm durch den Prozessor ausgeführt wird.The object is achieved according to a second aspect of the invention by a computer program product for creating a virtual clone of a sensor, comprising instructions causing a processor to perform the method according to the first embodiment when the program is executed by the processor.

Die Aufgabe wird gemäß einem dritten Aspekt der Erfindung gelöst durch einen virtuellen Sensor, der durch das Verfahren gemäß dem ersten Aspekt oder das Computerprogrammprodukt gemäß dem zweiten Aspekt erzeugt wird.According to a third aspect of the invention, the object is achieved by a virtual sensor that is generated by the method according to the first aspect or the computer program product according to the second aspect.

Die Aufgabe wird gemäß einem vierten Aspekt der Erfindung gelöst durch ein System zum Erzeugen eines virtuellen Klons eines Sensors. Das System umfasst einen ersten Sensor, ausgelegt zum Detektieren mindestens eines ersten Objekts und Erzeugen von ersten Sensordaten, die das erste Objekt angeben, und einen zweiten Sensor, ausgelegt zum Detektieren mindestens des ersten Objekts und Erzeugen von zweiten Sensordaten, die das erste Objekt angeben. Die Erster- und Zweiter-Sensor-Daten geben mindestens eine Eigenschaft des ersten Objekts an. Das System umfasst ferner einen Prozessor, ausgelegt zum Erzeugen eines ersten virtuellen Klons des zweiten Sensors auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts durch Verwendung eines neuronalen Netzes. Der erste virtuelle Klon ist ausgelegt zum Erzeugen von Erster-Virtueller-Klon-Daten auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts. Darüber hinaus ist der Prozessor ferner ausgelegt zum Anpassen des ersten virtuellen Klons auf der Basis einer ersten Abweichung zwischen den Erster-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts über das neuronale Netz, um die erste Abweichung unter eine erste vorbestimmte Schwelle zu verringern.According to a fourth aspect of the invention, the object is achieved by a system for creating a virtual clone of a sensor. The system includes a first sensor configured to detect at least a first object and generate first sensor data indicative of the first object and a second sensor configured to detect at least the first object and generate second sensor data indicative of the specify first object. The first and second sensor data indicate at least one property of the first object. The system further includes a processor configured to generate a first virtual clone of the second sensor based on the at least one property of the first object contained in the first sensor data by using a neural network. The first virtual clone is configured to generate first virtual clone data based on the at least one property of the first object contained in the first sensor data. In addition, the processor is further configured to adjust the first virtual clone based on a first deviation between the first virtual clone data and the at least one property of the first object contained in the second sensor data via the neural network by the first deviation below a first predetermined threshold.

Das neuronale Netz wird von einem Prozessor gehostet. Es kann in Echtzeit wie oben erwähnt auf demselben Prozessor trainiert werden oder im Labor vor Implementierung des neuronalen Netzes in dem Prozessor.The neural network is hosted by a processor. It can be trained in real time on the same processor as mentioned above, or in the lab prior to implementation of the neural network in the processor.

Das System kann ferner einen dritten Sensor umfassen, der dafür ausgelegt ist, mindestens das erste Objekt zu detektieren und dritte Sensordaten zu erzeugen, die das erste Objekt angeben, wobei die dritten Sensordaten die mindestens eine Eigenschaft des ersten Objekts angeben. Der Prozessor kann ferner ausgelegt sein zum Erzeugen des ersten virtuellen Klons ferner auf der Basis der in den dritten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts, wobei der erste virtuelle Klon ausgelegt sein kann zum Erzeugen der Erster-Virtueller-Klon-Daten ferner auf der Basis der in den dritten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts. Die Steuerung kann ferner ausgelegt sein zum Anpassen des ersten virtuellen Klons auf der Basis einer zweiten Abweichung zwischen den Virtueller-Sensor-Daten des ersten virtuellen Klons und der in den dritten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts, um die zweite Abweichung unter eine zweite vorbestimmte Schwelle zu verringern.The system may further include a third sensor configured to detect at least the first object and to generate third sensor data indicative of the first object, the third sensor data indicative of the at least one characteristic of the first object. The processor may further be configured to generate the first virtual clone also based on the at least one property of the first object contained in the third sensor data, wherein the first virtual clone may be configured to generate the first virtual clone data also on the Based on the at least one property of the first object contained in the third sensor data. The controller may be further configured to adjust the first virtual clone based on a second deviation between the virtual sensor data of the first virtual clone and the at least one property of the first object contained in the third sensor data by the second deviation below a second to decrease a predetermined threshold.

Der zweite Sensor und der erste und/oder dritte Sensor können von derselben Art von Sensor sein, oder wobei die Art des Sensors des zweiten Sensors von der Art des Sensors des ersten und/oder dritten Sensors verschieden ist.The second sensor and the first and/or third sensor may be of the same type of sensor, or where the type of sensor of the second sensor is different from the type of sensor of the first and/or third sensor.

Der erste und/oder dritte Sensor können ferner ausgelegt sein zum Detektieren mindestens eines zweiten Objekts, wobei die ersten und/oder dritten Sensordaten ferner das mindestens eine zweite Objekt und mindestens eine Eigenschaft des zweiten Objekts angeben können. Der zweite Sensor kann ferner ausgelegt sein zum Detektieren mindestens des zweiten Objekts, wobei die zweiten Sensordaten ferner das mindestens eine zweite Objekt und die mindestens eine Eigenschaft des zweiten Objekts angeben können. Der Prozessor kann ferner ausgelegt sein zum Erzeugen eines zweiten virtuellen Klons des zweiten Sensors auf der Basis der in den ersten und/oder dritten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts über das neuronale Netz. Der zweite virtuelle Sensor kann ferner ausgelegt sein zum Erzeugen von Zweiter-Virtueller-Klon-Daten auf der Basis der in den ersten und/oder dritten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts. Darüber hinaus kann der Prozessor ferner ausgelegt sein zum Anpassen des zweiten virtuellen Klons auf der Basis einer dritten Abweichung zwischen den Zweiter-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen Eigenschaft des zweiten Objekts über das neuronale Netz, um die dritte Abweichung unter eine dritte vorbestimmte Schwelle zu verringern.The first and/or third sensor can also be configured to detect at least one second object, wherein the first and/or third sensor data can also indicate the at least one second object and at least one property of the second object. The second sensor may further be configured to detect at least the second object, wherein the second sensor data may further indicate the at least one second object and the at least one property of the second object. The processor can also be designed to generate a second virtual clone of the second sensor based on the at least one property of the second object contained in the first and/or third sensor data via the neural network. The second virtual sensor can also be designed to generate second virtual clone data on the basis of the at least one property of the second object contained in the first and/or third sensor data. In addition, the processor may be further configured to adjust the second virtual clone based on a third deviation between the second virtual clone data and the at least one property of the second object contained in the second sensor data via the neural network to the third Reduce deviation below a third predetermined threshold.

Das neuronale Netz kann ein erstes und ein zweites neuronales Subnetz umfassen, wobei der Prozessor ferner ausgelegt sein kann zum Verwenden des ersten und zweiten neuronalen Subnetzes zum Erzeugen und Anpassen des ersten bzw. zweiten virtuellen Klons.The neural network may include first and second neural subnets, and the processor may be further configured to use the first and second neural subnets to create and customize the first and second virtual clones, respectively.

Das erste und zweite Objekt können von einer ersten und zweiten Art von Objektkategorie sein, die verschieden sind, wobei das erste und zweite neuronale Subnetz für die erste bzw. die zweite Art von Objektkategorie verwendet werden.The first and second objects may be of a first and second type of object category that are different, with the first and second neural subnets being used for the first and second type of object category, respectively.

Die mindestens eine Eigenschaft des ersten und/oder zweiten Objekts, die in mindestens einem der ersten bis dritten Sensordaten enthalten ist, kann eine Distanz zwischen dem jeweiligen Sensor und dem ersten oder zweiten Objekt, eine Geschwindigkeit, eine physikalische Eigenschaft, eine Größe, eine Temperatur, eine Orientierung, eine Position und/oder eine Richtungsbewegung des ersten oder zweiten Objekts sein.The at least one property of the first and/or second object, which is contained in at least one of the first to third sensor data, can be a distance between the respective sensor and the first or second object, a speed, a physical property, a size, a temperature , an orientation, a position and/or a directional movement of the first or second object.

Der Prozessor kann ferner ausgelegt sein zum Empfangen der jeweiligen Sensordaten, die das erste und/oder zweite Objekt angeben, von dem jeweiligen Sensor; mindestens teilweisen Umsetzen der empfangenen Sensordaten dergestalt, dass die Sensordaten die mindestens eine Eigenschaft des ersten und/oder zweiten Objekts angeben; und/oder Extrahieren der mindestens einen Eigenschaft des ersten und/oder zweiten Objekts von den empfangenen Sensordaten. Die Steuerung kann ausgelegt sein zum Durchführen des Umsetzens und/oder Extrahierens über ein erstes bis drittes neuronales Extraktionsnetz, wobei das erste bis dritte neuronale Extraktionsnetz dafür ausgelegt sind, für die Umsetzung und/oder Extraktion jeweils der ersten bis dritten Sensordaten verwendet zu werden.The processor may further be configured to receive the respective sensor data indicative of the first and/or second object from the respective sensor; at least partially converting the received sensor data such that the sensor data indicate the at least one property of the first and/or second object; and/or extracting the at least one property of the first and/or second object from the received sensor data. The controller can be designed to perform the conversion and/or extraction via a first th to third extraction neural networks, wherein the first to third extraction neural networks are designed to be used for the conversion and/or extraction of the first to third sensor data, respectively.

Mindestens eine der ersten bis dritten vorbestimmten Schwelle kann auf einer Genauigkeit der mindestens einen Eigenschaft, einer Übertragungsgeschwindigkeit der jeweiligen Sensordaten, einer Umsetzungsgeschwindigkeit des Umsetzens der empfangenen Sensordaten und/oder einer Extraktionsgeschwindigkeit des Extrahierens der mindestens einen Eigenschaft basieren und/oder wobei mindestens eine der ersten bis dritten vorbestimmten Schwelle auf einer Anwendung der ersten und/oder zweiten Sensordaten basiert.At least one of the first to third predetermined thresholds can be based on an accuracy of the at least one property, a transmission speed of the respective sensor data, a conversion speed of the conversion of the received sensor data and/or an extraction speed of the extraction of the at least one property and/or wherein at least one of the first to third predetermined threshold based on an application of the first and/or second sensor data.

Die Aufgabe wird gemäß einem fünften Aspekt der Erfindung gelöst durch ein Fahrzeug, das einen Prozessor umfasst, der dafür ausgelegt ist, das Computerprogrammprodukt gemäß dem zweiten Aspekt auszuführen, und/oder ein System gemäß dem dritten Aspekt umfasst. Das Fahrzeug kann ein mindestens teilweise automatisiertes Fahrzeug sein. Das Fahrzeug kann ein beliebiges eines Autos, eines Motorrads, eines Lastwagens, eines Busses, eines Scooters, eines Fahrrads, eines Schiffs und eines Flugzeugs sein.The object is achieved according to a fifth aspect of the invention by a vehicle comprising a processor designed to execute the computer program product according to the second aspect and/or comprising a system according to the third aspect. The vehicle may be an at least partially automated vehicle. The vehicle can be any of a car, a motorcycle, a truck, a bus, a scooter, a bicycle, a ship, and an airplane.

Mit Bezug auf das Verfahren des ersten Aspekts hergestellte Merkmale können auch als Merkmale des Systems des dritten Aspekts gebildet werden. Mit Bezug auf das System des dritten Aspekts hergestellte Merkmale können auch als Schritte des Verfahrens des ersten Aspekts gebildet werden.Features manufactured with reference to the method of the first aspect can also be formed as features of the system of the third aspect. Features manufactured in relation to the system of the third aspect may also be formed as steps of the method of the first aspect.

Bevorzugte Ausführungsformen werden anhand von Beispielen unter Bezugnahme auf die beigefügten Figuren erläutert. Es zeigen:

1 eine schematische Ansicht eines Systems zum Erzeugen eines virtuellen Klons eines Sensors;
2 eine Erzeugung eines ersten virtuellen Klons eines zweiten Sensors des Systems; und
3 ein schematisches Verfahren zum Erzeugen eines virtuellen Klons eines Sensors.

Preferred embodiments are explained using examples with reference to the attached figures. Show it:

1 a schematic view of a system for creating a virtual clone of a sensor;
2 creating a first virtual clone of a second sensor of the system; and
3 a schematic method for creating a virtual clone of a sensor.

In den Figuren werden dieselben oder im Wesentlichen funktional identischen oder ähnlichen Elemente mit denselben Bezugszeichen bezeichnet.In the figures, the same or essentially functionally identical or similar elements are denoted by the same reference symbols.

1 zeigt ein System 100 zum Erzeugen eines virtuellen Klons eines Sensors, wie etwa eines beliebigen des ersten und zweiten Sensors 110, 120, die in dem System 100 enthalten sind. Das System 100 kann in einem Fahrzeug, wie etwa einem mindestens teilweise automatisierten Fahrzeug, implementiert sein. Für Erläuterungszwecke wird im Folgenden ein virtueller Klon 180 des zweiten Sensors 120 beschrieben. Der virtuelle Klon 180 soll dafür ausgelegt sein, mindestens eine Eigenschaft eines Objekts, nämlich eine Geschwindigkeit eines durch die Sensoren 110, 120 detektierten Fußgängers 210, zu detektieren. Die Erfindung ist jedoch nicht darauf beschränkt, und es kann ein virtueller Klon des ersten Sensors 110 oder eines beliebigen weiteren Sensors erzeugt werden. Außerdem kann ein virtueller Klon eines beliebigen Sensors erzeugt werden, um alle Fähigkeiten des geklonten Sensors, wie etwa einer Kamera, die eine Umgebung 200 und somit ein oder mehrere Objekte 210, 220 detektiert, abzudecken. Wie in 2 gezeigt, ist ein in der Umgebung 200 vorhandenes weiteres Objekt ein Fahrzeug 220. Dementsprechend detektiert die Kamera die Umgebung 200 und auch der virtuelle Klon kann die Umgebung 200 detektieren. Ferner können virtuelle Klone von Sensoren erzeugt werden, die speziell dafür erzeugt werden, mindestens eine Eigenschaft mindestens eines Objekts zu detektieren, die in den Sensordaten des geklonten Sensors vorhanden sein kann. Gemäß 2 ist das mindestens eine Objekt der Fußgänger 210. Ferner können ein oder mehrere virtuelle Klone eines Sensors für eine oder mehrere Eigenschaften bzw. ein oder mehrere Objekte und/oder Objektkategorien erzeugt werden. 1 FIG. 1 shows a system 100 for creating a virtual clone of a sensor, such as any of the first and second sensors 110, 120 included in the system 100. FIG. The system 100 may be implemented in a vehicle, such as an at least partially automated vehicle. For purposes of explanation, a virtual clone 180 of the second sensor 120 is described below. The virtual clone 180 should be designed to detect at least one property of an object, namely a speed of a pedestrian 210 detected by the sensors 110, 120. However, the invention is not limited to this, and a virtual clone of the first sensor 110 or any other sensor can be created. In addition, a virtual clone of any sensor can be created to cover all the capabilities of the cloned sensor, such as a camera that detects an environment 200 and thus one or more objects 210,220. As in 2 shown, another object present in the environment 200 is a vehicle 220. Accordingly, the camera detects the environment 200 and the virtual clone can also detect the environment 200. Furthermore, virtual clones of sensors can be created that are specifically created to detect at least one property of at least one object that may be present in the sensor data of the cloned sensor. According to 2 the at least one object is the pedestrian 210. Furthermore, one or more virtual clones of a sensor can be generated for one or more properties or one or more objects and/or object categories.

Das System 100 umfasst ferner einen Speicher 130, einen Sendeempfänger 140 und einen Prozessor 150. Der Speicher 130 ist ausgelegt zum Speichern von Daten, wie Sensordaten des ersten und zweiten Sensors 110, 120, und von Virtueller-Sensor-Daten eines erzeugten virtuellen Sensors. Außerdem wird ein neuronales Netz in dem Speicher 130 gespeichert, auf den die Steuerung 150 zugreifen kann. Außerdem ist der Speicher 130 ausgelegt zum Speichern eines beliebigen virtuellen Klons eines beliebigen Sensors. Wie durch die gestrichelten Linien in 1 angegeben, werden die verschiedenen Einheiten des Systems 100 miteinander verbunden, um Daten zu und von den verschiedenen Einheiten des Systems 100 zu senden und zu empfangen. Die Verbindungen können durch Kabelverbindungen und/oder drahtlose Verbindungen hergestellt werden. In dem Speicher 130 kann ein Computerprogrammprodukt gespeichert sein, das Anweisungen umfasst, die bewirken, dass der Prozessor 150 das Verfahren gemäß 3 ausführt, wenn das Programm durch den Prozessor 150 ausgeführt wird. Der Sendeempfänger 140 ist ausgelegt zum Senden von Daten zu und Empfangen von Daten von externen Einheiten und/oder einem Netzwerk.The system 100 further includes a memory 130, a transceiver 140 and a processor 150. The memory 130 is configured to store data such as sensor data of the first and second sensors 110, 120 and virtual sensor data of a created virtual sensor. In addition, a neural network is stored in the memory 130 that the controller 150 can access. In addition, memory 130 is configured to store any virtual clone of any sensor. As indicated by the dashed lines in 1 indicated, the various entities of the system 100 are interconnected to send and receive data to and from the various entities of the system 100. The connections can be made by wired connections and/or wireless connections. A computer program product comprising instructions that cause the processor 150 to perform the method according to the invention may be stored in the memory 130 3 executes when the program is executed by the processor 150. The transceiver 140 is configured to transmit data to and receive data from external devices and/or a network.

Das neuronale Netz kann auf einem beliebigen Prozessor implementiert und in einem beliebigen Speicher gespeichert werden, solange es mit einer minimalen Zeitlatenz die notwendigen Eingaben empfangen und die gewünschten Ausgaben bereitstellen kann.The neural network can be implemented on any processor and stored in any memory as long as it is compatible with can receive the necessary inputs and provide the desired outputs with minimal time latency.

Der erste und zweite Sensor 110, 120 können von einer verschiedenen Art Sensor sein oder können dieselbe Art Sensor sein. Gemäß 1 und 2 ist der erste Sensor 110 eine Kamera und der zweite Sensor 120 ein Geschwindigkeitssensor. Die Kamera 110 detektiert die Umgebung 200, die ein oder mehrere Objekte, wie etwa den Fußgänger 210 und das Fahrzeug 220, enthalten kann. Der Geschwindigkeitssensor 120 ist ausgelegt zum Detektieren einer Geschwindigkeit eines beliebigen Objekts der Umgebung 200, Detektieren einer Geschwindigkeit des Fußgängers 210 und Erzeugen entsprechender zweiter Sensordaten.The first and second sensors 110, 120 can be of a different type of sensor or can be the same type of sensor. According to 1 and 2 the first sensor 110 is a camera and the second sensor 120 is a speed sensor. Camera 110 detects environment 200 which may include one or more objects such as pedestrian 210 and vehicle 220 . The speed sensor 120 is designed to detect a speed of any object in the surroundings 200, to detect a speed of the pedestrian 210 and to generate corresponding second sensor data.

Wie in 2 dargestellt, erzeugen die Kamera 110 und der Geschwindigkeitssensor 120 erste bzw. zweite Sensordaten, wobei die ersten Sensordaten Bilddaten sind, die mehrere Einzelbilder umfassen, und die zweiten Sensordaten Geschwindigkeitsdaten bezüglich mindestens des Fußgängers 210 und des Fahrzeugs 220, die in der Umgebung 200 vorhanden sind, umfassen. Im Folgenden soll der virtuelle Klon 180 des Geschwindigkeitssensors 120 zum Detektieren der Geschwindigkeit des Fußgängers 210 erzeugt werden.As in 2 As shown, camera 110 and speed sensor 120 generate first and second sensor data, respectively, wherein the first sensor data is image data comprising multiple frames and the second sensor data is speed data relating to at least pedestrian 210 and vehicle 220 present in environment 200 , include. In the following, the virtual clone 180 of the speed sensor 120 for detecting the speed of the pedestrian 210 is to be generated.

Um den virtuellen Klon 180 zu erzeugen, müssen die ersten und zweiten Sensordaten dieselbe Eigenschaft des Objekts, hier die Geschwindigkeit des Fußgängers 210, angeben. Da die Umgebung 200 den Fußgänger 210 und das Fahrzeug 220 umfasst, werden die den Fußgänger angebenden Sensordaten aus den Sensordaten extrahiert. Das heißt, die weitere Umgebung, wie etwa das Fahrzeug 220, angebende Sensordaten werden verworfen oder ausgeschlossen. Der Prozess des Extrahierens der jeweiligen Sensordaten wird durch ein erstes und zweites neuronales Extraktionsnetz 160, 170 ausgeführt, die trainierte neuronale Netze sind, die dafür ausgelegt sind, die gewünschten Sensordaten zu extrahieren, also hier die Sensordaten in Bezug auf den Fußgänger 210. Diese neuronalen Extraktionsnetze 160, 170 können in dem Speicher 130, in einem Netzwerk und/oder einer Cloud gespeichert sein. Ferner werden die neuronalen Extraktionsnetze 160, 170 von dem Prozessor 150 im Verlauf der Extraktion und auch später im Verlauf des Umsetzens verwendet, was im Folgenden erläutert wird. Dementsprechend sind das erste und zweite neuronale Extraktionsnetz 160, 170 dafür ausgelegt, die ersten bzw. zweiten Sensordaten zu verarbeiten.In order to create the virtual clone 180, the first and second sensor data must indicate the same property of the object, here the speed of the pedestrian 210. Since the environment 200 includes the pedestrian 210 and the vehicle 220, the sensor data indicative of the pedestrian is extracted from the sensor data. That is, sensor data indicative of the wider environment, such as vehicle 220, is discarded or excluded. The process of extracting the respective sensor data is performed by a first and second extraction neural networks 160, 170, which are trained neural networks designed to extract the desired sensor data, here the sensor data related to the pedestrian 210. These neural Extraction meshes 160, 170 may be stored in storage 130, on a network, and/or in a cloud. Furthermore, the extraction neural networks 160, 170 are used by the processor 150 in the course of the extraction and also later in the course of the conversion, which will be explained below. Accordingly, the first and second extraction neural networks 160, 170 are designed to process the first and second sensor data, respectively.

Damit die ersten Sensordaten die Geschwindigkeit des Fußgängers 210 angeben, setzt das erste neuronale Extraktionsnetz 160 die ersten Sensordaten so um, dass die ersten Sensordaten die Geschwindigkeit des Fußgängers 210 angeben. Das heißt, die ersten Sensordaten umfassen mehrere Einzelbilder, wobei jedes Einzelbild an einem spezifischen Zeitpunkt aufgenommen wurde. Außerdem kann die Position des Fußgängers 210 in jedem Einzelbild bestimmt werden. Das erste neuronale Extraktionsnetz 160 ist ausgelegt zum Bestimmen einer Distanz zwischen zwei Positionen von zwei oder mehr aufeinanderfolgenden Einzelbildern. Auf der Basis der bestimmten Distanz und der Zeit zwischen den spezifischen Zeitpunkten der aufeinanderfolgenden Einzelbilder ist das neuronale Extraktionsnetz 160 ausgelegt zum Bestimmen der Geschwindigkeit des Fußgängers 210. Die Position des Fußgängers 210 kann zuerst aus den Einzelbildern durch das erste neuronale Extraktionsnetz 160 extrahiert werden, und dann können die Positionen und Zeitpunkte bestimmt werden.In order for the first sensor data to indicate the speed of the pedestrian 210, the first extraction neural network 160 transforms the first sensor data such that the first sensor data indicates the speed of the pedestrian 210. That is, the first sensor data comprises a plurality of individual images, each individual image being recorded at a specific point in time. In addition, the position of the pedestrian 210 in each frame can be determined. The first extraction neural network 160 is designed to determine a distance between two positions of two or more consecutive frames. Based on the determined distance and the time between the specific times of the consecutive frames, the extraction neural network 160 is designed to determine the speed of the pedestrian 210. The position of the pedestrian 210 can first be extracted from the frames by the first extraction neural network 160, and then the positions and times can be determined.

Ähnlich wie das erste neuronale Extraktionsnetz 160 ist das zweite neuronale Netz 170 ausgelegt zum Extrahieren spezifischer Daten Out₁₇₀ aus den zweiten Sensordaten und gegebenenfalls Umsetzen der zweiten Sensordaten und/oder der extrahierten spezifischen Daten Out₁₇₀. Da die zweiten Sensordaten bereits die Geschwindigkeit des Fußgängers 210 angeben, extrahiert das zweite neuronale Netz 170 die spezifischen Daten Out₁₇₀ des zweiten Sensors, die die Geschwindigkeit des Fußgängers 210 angeben, so dass die weiteren Daten der zweiten Sensordaten nicht verarbeitet werden (wie etwa die zweiten Sensordaten, die die Geschwindigkeit des Fahrzeugs 220 angeben).Similar to the first neural extraction network 160, the second neural network 170 is designed to extract specific data Out ₁₇₀ from the second sensor data and, if necessary, convert the second sensor data and/or the extracted specific data Out ₁₇₀ . Since the second sensor data already indicates the speed of the pedestrian 210, the second neural network 170 extracts the second sensor specific data Out ₁₇₀ , which indicates the speed of the pedestrian 210, so that the further data of the second sensor data are not processed (such as the second sensor data indicative of the speed of the vehicle 220).

Nach dem Extrahieren und Umsetzen der ersten Sensordaten ist der Prozessor 150 ausgelegt zum Erzeugen des virtuellen Klons 180 über das neuronale Netz auf der Basis der in den extrahierten und umgesetzten ersten Sensordaten enthaltenen Geschwindigkeit des Fußgängers 210. Der virtuelle Klon 180 ist ausgelegt zum Erzeugen von Virtueller-Klon-Daten Out₁₈₀ auf der Basis der in den extrahierten und umgesetzten ersten Sensordaten enthaltenen Geschwindigkeit des Fußgängers 210. Die Virtueller-Klon-Daten Out₁₈₀ geben die Geschwindigkeit des Fußgängers 210 an.After extracting and converting the first sensor data, the processor 150 is configured to generate the virtual clone 180 via the neural network based on the speed of the pedestrian 210 contained in the extracted and converted first sensor data. The virtual clone 180 is configured to generate virtual -Clone Data Out ₁₈₀ based on the speed of the pedestrian 210 contained in the extracted and converted first sensor data. The Virtual Clone Data Out ₁₈₀ indicates the speed of the pedestrian 210.

Als Nächstes werden die Virtueller-Klon-Daten Out₁₈₀ des virtuellen Klons 180 und die spezifischen Daten Out₁₇₀ der zweiten Sensordaten verglichen, indem eine Abweichung |(Out₁₇₀ - Out₁₈₈)| zwischen diesen zwei Daten bestimmt wird. Wenn die Abweichung größer oder gleich einer vorbestimmten Schwelle T ist, ist der virtuelle Klon 180 ferner ausgelegt zum Verringern der Abweichung unter die vorbestimmte Schwelle T auf der Basis der Abweichung. Das heißt, der Prozessor 150 ist ferner ausgelegt zum Anpassen des virtuellen Klons 180 über das neuronale Netz auf der Basis der Abweichung, um sie unter die Schwelle T zu verringern.Next, the virtual clone data Out ₁₈₀ of the virtual clone 180 and the specific data Out ₁₇₀ of the second sensor data are compared by determining a difference |(Out ₁₇₀ - Out ₁₈₈ )| between these two dates is determined. If the deviation is greater than or equal to a predetermined threshold T, the virtual clone 180 is further configured to reduce the deviation below the predetermined threshold T based on the deviation. That is, the processor 150 is further configured to adjust the virtual clone 180 via the neural network based on the deviation to reduce it below the threshold T .

Nach dem Anpassen des virtuellen Klons 180 wird die in den extrahierten und umgesetzten ersten Sensordaten enthaltene Geschwindigkeit des Fußgängers 210 wieder in den virtuellen Klon 180 eingegeben, und die Virtueller-Klon-Daten Out₁₈₀ werden mit den spezifischen Daten Out₁₇₀ verglichen. Die in den virtuellen Klon 180 eingegebenen Daten sowie die spezifischen Daten Out₁₇₀ können dieselben Daten wie für die Erzeugung des virtuellen Klons 180 und den ersten Vergleich sein. Natürlich können neue Sensordaten durch die Kamera 110 und den Geschwindigkeitssensor 120 erzeugt werden, und die neuen Sensordaten können umgesetzt, extrahiert und dem virtuellen Klon 180 zugeführt werden, sowie der Vergleich. Die Schleife des Bestimmens der Abweichung und des Anpassens des virtuellen Klons 180 wird fortgesetzt, bis die Abweichung unter der vorbestimmten Schwelle T liegt.After fitting the virtual clone 180, the speed of the pedestrian 210 contained in the extracted and converted first sensor data is fed back into the virtual clone 180 and the virtual clone data Out ₁₈₀ is compared to the specific data Out ₁₇₀ . The data input into the virtual clone 180 as well as the specific data Out ₁₇₀ can be the same data as for the creation of the virtual clone 180 and the first comparison. Of course, new sensor data can be generated by the camera 110 and the speed sensor 120, and the new sensor data can be converted, extracted, and fed to the virtual clone 180 and compared. The loop of determining the deviation and adjusting the virtual clone 180 continues until the deviation is below the predetermined threshold T .

Die vorbestimmte Schwelle T gemäß 2 basiert auf einer Genauigkeit der ersten und zweiten Sensordaten, wobei die vorbestimmte Schwelle 1% ist. Dementsprechend wird, wenn die Abweichung unter 1% liegt, der virtuelle Sensor 180 als virtueller Klon des Geschwindigkeitssensors 120 betrachtet und kann in die Praxis umgesetzt werden. Das heißt, nach den oben erwähnten Schritten, die als Lernphase des virtuellen Sensors 180 klassifiziert werden können, kann der virtuelle Sensor 180 für eine Praxisphase verwendet werden.The predetermined threshold T according to 2 is based on an accuracy of the first and second sensor data, where the predetermined threshold is 1%. Accordingly, if the deviation is less than 1%, the virtual sensor 180 is considered a virtual clone of the speed sensor 120 and can be put into practice. That is, after the above-mentioned steps, which can be classified as a learning phase of the virtual sensor 180, the virtual sensor 180 can be used for a practice phase.

Die Praxisphase kann darin bestehen, dass das System 100 in ein Fahrzeug integriert wird und der virtuelle Sensor 180 zur Bestimmung der Geschwindigkeit eines in einer detektierten Umgebung vorhandenen Fußgängers und/oder zum Verifizieren, ob der Geschwindigkeitssensor 120 ordnungsgemäß arbeitet, verwendet wird. Weitere Prozesse in dem Fahrzeug können von der Bestimmung der Geschwindigkeit des Fußgängers 210 abhängen. Es kann sein, dass die Kamera 110 den Fußgänger 210 detektiert, der virtuelle Sensor 160 eine Geschwindigkeit des Fußgängers 210 bestimmt, während der Geschwindigkeitssensor 120 den Fußgänger 210 nicht detektiert und somit die zweiten Sensordaten keinerlei Geschwindigkeit des Fußgängers 210 enthalten. Wenn nur die ersten und zweiten Sensordaten für die weiteren Prozesse verwendet würden, entstünde ein Konflikt insofern, als das Fahrzeug und/oder das System 100 nicht bestimmen können, welche Daten korrekt sind. Dies kann zu Sicherheitsproblemen führen. Durch Berücksichtigen der Virtueller-Sensor-Daten des virtuellen Klons 180 kann jedoch bestimmt werden, dass die Geschwindigkeitssensordaten beschädigt sind und dass weitere Prozesse auf den ersten Sensordaten und den Virtueller-Klon-Daten basieren sollten. Dementsprechend kann mit Ausführungsprioritäten verschiedener Befehle umgegangen werden, und Konflikte können gelöst werden.The hands-on phase may consist of integrating the system 100 into a vehicle and using the virtual sensor 180 to determine the speed of a pedestrian present in a detected environment and/or to verify that the speed sensor 120 is operating properly. Other processes in the vehicle may depend on the determination of the pedestrian's 210 speed. It may be that the camera 110 detects the pedestrian 210, the virtual sensor 160 determines a speed of the pedestrian 210, while the speed sensor 120 does not detect the pedestrian 210 and thus the second sensor data does not contain any speed of the pedestrian 210. If only the first and second sensor data were used for the further processes, a conflict would arise in that the vehicle and/or the system 100 cannot determine which data is correct. This can lead to security problems. However, by considering the virtual sensor data of the virtual clone 180, it can be determined that the speed sensor data is corrupt and further processes should be based on the first sensor data and the virtual clone data. Accordingly, execution priorities of different instructions can be dealt with and conflicts can be resolved.

Gemäß einer anderen Ausführungsform kann der Prozessor 150 dafür ausgelegt sein, über das neuronale Netz den virtuellen Klon 180 auf der Basis der ersten Sensordaten dergestalt zu erzeugen, dass der virtuelle Klon 180 auch das erste neuronale Extraktionsnetz 160 umfasst. Dementsprechend ist der virtuelle Klon 180 ausgelegt zum Extrahieren und/oder Umsetzen der ersten Sensordaten und zum Bestimmen der Geschwindigkeit des Fußgängers 210 auf der Basis der ersten Sensordaten.According to another embodiment, the processor 150 may be configured to generate the virtual clone 180 via the neural network based on the first sensor data such that the virtual clone 180 also includes the first extraction neural network 160 . Accordingly, the virtual clone 180 is configured to extract and/or convert the first sensor data and to determine the speed of the pedestrian 210 based on the first sensor data.

Gemäß der Erfindung müssen zum Erzeugen und Anpassen eines virtuellen Klons verwendete Sensordaten direkt oder indirekt mindestens eine Eigenschaft des Objekts angeben. Das heißt, gemäß 2 geben die ersten Sensordaten indirekt die Geschwindigkeit an, da die ersten Sensordaten mindestens umgesetzt werden müssen, während die zweiten Sensordaten die Geschwindigkeit direkt angeben und somit keine Umsetzung benötigen. Anders ausgedrückt, kann die Erfindung verallgemeinert werden, um ein neuronales Netz zu trainieren, einen beliebigen Sensor A unter Verwendung eines beliebigen Sensors B zu klonen, wobei die einzige Beschränkung darin besteht, dass beide Sensoren A und B dieselbe Eigenschaft (direkt und/oder indirekt) messen müssen, z. B. eine Kamera und ein Lidar, ein Ultraschall und ein Radar, ein Geschwindigkeitssensor und ein Positionsbestimmungssensor (insbesondere ein GPS-Sensor) usw.According to the invention, sensor data used to create and customize a virtual clone must indicate, directly or indirectly, at least one property of the object. That is, according to 2 the first sensor data indicate the speed indirectly, since the first sensor data must at least be converted, while the second sensor data indicate the speed directly and therefore do not require any conversion. In other words, the invention can be generalized to train a neural network to clone any sensor A using any sensor B, the only constraint being that both sensors A and B have the same property (direct and/or indirect ) have to measure, e.g. a camera and a lidar, an ultrasound and a radar, a speed sensor and a positioning sensor (particularly a GPS sensor), etc.

Gemäß der Erfindung können zwei oder mehr virtuelle Klone erzeugt werden. Für jedes Objekt oder jede Objektkategorie kann mindestens ein virtueller Klon eines Sensors erzeugt werden, wobei die Objektkategorien Fußgänger, Straßenschilder, Fahrzeuge, Wetter usw. umfassen können. Außerdem können die zum Erzeugen und Anpassen eines virtuellen Sensors verwendeten Sensordaten virtuelle Sensordaten von einem anderen virtuellen Sensor sein.According to the invention, two or more virtual clones can be created. At least one virtual clone of a sensor can be created for each object or category of objects, where the categories of objects can include pedestrians, street signs, vehicles, weather, and so on. Additionally, the sensor data used to create and customize a virtual sensor may be virtual sensor data from another virtual sensor.

Das von dem Prozessor 150 zum Erzeugen und Anpassen des virtuellen Klons 180 verwendete neuronale Netz kann neuronale Subnetze umfassen. Wenn zum Beispiel zwei virtuelle Klone für zwei verschiedene Objekte und/oder Objektkategorien oder sogar dasselbe Objekt, dieselben Objekte und/oder Objektkategorien erzeugt werden sollen, kann der Prozessor 150 ein erstes neuronales Subnetz der neuronalen Subnetze verwenden, um einen ersten virtuellen Klon der zwei virtuellen Klone zu erzeugen und anzupassen, und kann der Prozessor 150 ein zweites neuronales Subnetz der neuronalen Subnetze verwenden, um einen zweiten virtuellen Klon der zwei virtuellen Klone zu erzeugen und anzupassen.The neural network used by processor 150 to create and customize virtual clone 180 may include neural subnets. For example, if two virtual clones are to be created for two different objects and/or object categories, or even the same object, objects, and/or object categories, processor 150 may use a first neural subnet of the neural subnets to create a first virtual clone of the two virtual create and customize clones, and processor 150 may use a second neural subnet of the neural subnets to create a second virtual clone of the two virtual clones to create and customize.

3 zeigt ein computerimplementiertes Verfahren 300 zum Erzeugen eines virtuellen Klons 180 eines Sensors 120. Das Verfahren 300 umfasst Empfangen 310 von ersten Sensordaten von einem ersten Sensor 110, wobei die ersten Sensordaten mindestens ein durch den ersten Sensor 110 detektiertes erstes Objekt (den Fußgänger 210 gemäß 2) und mindestens eine Eigenschaft des ersten Objekts angeben. Ferner umfasst das Verfahren 300 Empfangen 320 von zweiten Sensordaten von einem zweiten Sensor 120, wobei die zweiten Sensordaten mindestens das durch den zweiten Sensor 120 detektierte erste Objekt und die mindestens eine Eigenschaft des ersten Objekts angeben. Über ein neuronales Netz wird ein virtueller Klon 180 des zweiten Sensors 120 auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts erzeugt 330. Über den ersten virtuellen Klon 180 werden Erster-Virtueller-Klon-Daten auf der Basis der in den ersten Sensordaten enthaltenen mindestens einen Eigenschaft des ersten Objekts erzeugt 340. Außerdem umfasst das Verfahren 300 Anpassen 350 des ersten virtuellen Klons 180 auf der Basis einer ersten Abweichung zwischen den Erster-Virtueller-Klon-Daten und der in den zweiten Sensordaten enthaltenen mindestens einen 3 shows a computer-implemented method 300 for creating a virtual clone 180 of a sensor 120. The method 300 includes receiving 310 first sensor data from a first sensor 110, the first sensor data being at least one first object detected by the first sensor 110 (the pedestrian 210 according to 2 ) and specify at least one property of the first object. Furthermore, the method 300 comprises receiving 320 second sensor data from a second sensor 120, wherein the second sensor data indicates at least the first object detected by the second sensor 120 and the at least one property of the first object. A virtual clone 180 of the second sensor 120 is generated 330 via a neural network on the basis of the at least one property of the first object contained in the first sensor data. First virtual clone data are generated via the first virtual clone 180 on the basis of the in the at least one property of the first object contained in the first sensor data is generated 340. The method 300 also includes adjusting 350 the first virtual clone 180 on the basis of a first deviation between the first virtual clone data and the at least one contained in the second sensor data

Eigenschaft des ersten Objekts über das neuronale Netz, um die erste Abweichung unter eine erste vorbestimmte Schwelle zu verringern.characteristic of the first object via the neural network to reduce the first deviation below a first predetermined threshold.

BezugszeichenlisteReference List

100100: System zum Erzeugen eines virtuellen KlonsSystem for creating a virtual clone
110110: erster Sensorfirst sensor
120120: zweiter Sensorsecond sensor
130130: SpeicherStorage
140140: Sendeempfängertransceiver
150150: Prozessorprocessor
160160: erstes neuronales Extraktionsnetzfirst neural extraction network
170170: zweites neuronales Extraktionsnetzsecond extraction neural network
180180: neuronales Netzneural network
200200: UmgebungVicinity
210210: Fußgängerpedestrian
220220: Fahrzeugvehicle
300300: Verfahren zum Erzeugen eines KlonsProcedure for creating a clone
310310: Empfangen von ersten SensordatenReceiving first sensor data
320320: Empfangen von zweiten Sensordatenreceiving second sensor data
330330: virtuellen Klon erzeugencreate a virtual clone
340340: Virtueller-Klon-Daten erzeugenCreate virtual clone data
350350: virtuellen Klon anpassencustomize virtual clone

Claims

A computer-implemented method (300) for creating a virtual clone (180) of a sensor (110, 120), comprising the following steps: receiving (310) first sensor data from a first sensor (110), the first sensor data indicating at least one first object (210) detected by the first sensor (110) and at least one characteristic of the first object (210); receiving (320) second sensor data from a second sensor (120), the second sensor data being indicative of at least the first object (210) detected by the second sensor (120) and the at least one characteristic of the first object (210); Generating (330) a first virtual clone (180) of the second sensor (120) on the basis of the at least one property of the first object (210) contained in the first sensor data via a neural network; generating (340) first virtual clone data based on the at least one property of the first object (210) contained in the first sensor data via the first virtual clone (180); Adjusting (350) the first virtual clone (180) based on a first deviation between the first virtual clone data and the at least one property of the first object (210) contained in the second sensor data via the neural network to the first Reduce deviation below a first predetermined threshold.

Method (300) according to claim 1 , further comprising: receiving third sensor data from a third sensor, the third sensor data being indicative of at least the first object (210) detected by the third sensor and the at least one characteristic of the first object (210); wherein the steps of creating (330) the first virtual clone (180) and creating (340) the first virtual clone data are further based on the at least one property of the first object contained in the third sensor data, the step of adjusting (350) of the first virtual clone (180) is further based on a second deviation between the virtual sensor data of the first virtual clone (180) and the at least one property of the first object (210) contained in the third sensor data in order to reduce the second deviation to below one to decrease the second predetermined threshold.

Method (300) according to claim 1 or 2 wherein the second sensor (120) and the first (110) and/or the third sensor are of the same type of sensor or wherein the type of sensor of the second sensor (120) is of the type of the sensor of the first (110) and/or third sensor is different.

Method (300) according to one of the preceding claims, wherein the first and/or third sensor data further indicate at least one second object detected by the first and/or third sensor and at least one property of the second object, wherein the second sensor data further indicates the at least one second object detected by the second sensor (120) and the at least one property of the second object, the method (300) further comprising: generating a second virtual clone of the second sensor based on the at least one property of the second object contained in the first and/or third sensor data via the neural network; generating second virtual clone data based on the at least one property of the second object contained in the first and/or third sensor data via the second virtual clone; adjusting the second virtual clone based on a third deviation between the second virtual clone data and the at least one characteristic of the second object contained in the second sensor data via the neural network to reduce the third deviation below a third predetermined threshold.

Method (300) according to one of the preceding claims, wherein the neural network comprises a first and second neural subnet, wherein the first and second neural subnets create and adapt the first and second virtual clones, respectively.

Method (300) according to one of the preceding claims, wherein the first (210) and second objects are of a first and second type of object category that are different, wherein the first and second neural subnets are used for the first and second types of object categories, respectively.

Method (300) according to one of the preceding claims, wherein the at least one property of the first (210) and/or second object contained in the at least one of the first to third sensor data is a distance between the respective sensor and the first or second object, a speed , a physical property, size, temperature, orientation, position and/or directional movement of the first (210) or second object.

The method (300) of any preceding claim, wherein receiving the first, second, and/or third sensor data further comprises: receiving from the respective sensor the respective sensor data indicative of the first (210) and/or second object; at least partially converting the received sensor data such that the sensor data indicates the at least one property of the first (210) and/or second object; and or extracting the at least one property of the first (210) and/or second object from the received sensor data.

Method (300) according to claim 8 , wherein the steps of converting and/or extracting are performed via a first to third extraction neural network, wherein the first to third extraction neural network are used for converting and/or extracting the first to third sensor data, respectively.

Method (300) according to one of the preceding claims, wherein at least one of the first to third predetermined thresholds is based on at least one of an accuracy of the at least one property, a transmission speed of the respective sensor data, a conversion speed of the conversion of the received sensor data and an extraction speed of the extraction of the at least one property and/or wherein at least one of the first through third predetermined thresholds is based on an application of the first and/or second sensor data.

Computer program product for creating a virtual clone (180) of a sensor (110, 120), comprising instructions that cause a processor (150) to perform the method (300) according to any one of Claims 1 until 10 executes when the program is executed by the processor (150).

Virtual sensor (180) by the method (300) according to one of Claims 1 until 10 or the computer program product claim 11 is produced.

A system (100) for creating a virtual clone (180) of a sensor (110, 120), comprising: a first sensor (110) configured for detection ren at least one first object (210) and generating first sensor data indicative of the first object (210); a second sensor (120) configured to detect at least the first object (210) and generate second sensor data indicative of the first object (210), wherein the first and second sensor data include at least one property of the first object (210 ) indicate; a processor (150) configured to generate a first virtual clone (180) of the second sensor based on the at least one property of the first object (210) contained in the first sensor data by using a neural network, the first virtual clone (180 ) is designed to generate first virtual clone data based on the at least one property of the first object (210) contained in the first sensor data, wherein the processor (180) is further designed to adapt the first virtual clone (180) based on a first deviation between the first virtual clone data and the at least one characteristic of the first object (210) contained in the second sensor data via the neural network to reduce the first deviation below a first predetermined threshold.

system (100) after Claim 13 , wherein the system (100) further comprises a third sensor configured to detect at least the first object (210) and to generate third sensor data indicative of the first object (210), the third sensor data having the at least one property indicate the first object (210); wherein the processor (150) is further configured to generate the first virtual clone (180) further based on the at least one property of the first object (210) contained in the third sensor data, the first virtual clone (180) being configured to generate the first virtual clone data based on the at least one property of the first object (210) contained in the third sensor data, wherein the controller (150) is further configured to adjust the first virtual clone (180) based on a second Deviation between the virtual sensor data of the first virtual clone (180) and the at least one property of the first object (210) contained in the third sensor data to reduce the second deviation below a second predetermined threshold.

system (100) after Claim 13 or 14 wherein the second sensor (120) and the first (110) and/or the third sensor are of the same type of sensor or wherein the type of sensor of the second sensor (120) is of the type of the sensor of the first (110) and/or third sensor is different.

System (100) according to one of Claims 13 until 15 , wherein the first (110) and/or third sensor are further configured to detect at least one second object; wherein the first and/or third sensor data also indicate the at least one second object and at least one property of the second object, wherein the second sensor is also designed to detect at least the second object, wherein the second sensor data also indicates the at least one second object and the at least one specify property of the second object, wherein the processor (150) is further adapted to generate a second virtual clone of the second sensor based on the at least one property of the second object contained in the first and/or third sensor data via the neural network; wherein the second virtual sensor is further configured to generate second virtual clone data based on the at least one property of the second object contained in the first and/or third sensor data; wherein the processor (150) is further configured to adjust the second virtual clone based on a third deviation between the second virtual clone data and the at least one property of the second object contained in the second sensor data via the neural network to the reduce the third deviation below a third predetermined threshold.

System (100) according to one of Claims 13 until 16 , wherein the neural network comprises a first and a second neural subnet, wherein the processor (150) is further configured to use the first and second neural subnets to create and adapt the first and second virtual clones, respectively.

System (100) according to one of Claims 13 until 17 , wherein the first (210) and second objects are of a first and second type of object category that are different, the first and second neural subnets being used for the first (210) and second type of object category, respectively.

System (100) according to one of Claims 13 until 18 , wherein the at least one property of the first (210) and/or second object contained in the at least one of the first to third sensor data is a distance between the respective sensor sor and the first or second object is a velocity, a physical property, a size, a temperature, an orientation, a position and/or a directional movement of the first (210) or second object.

System (100) according to one of Claims 13 until 19 wherein the processor (150) is further configured to: receive from the respective sensor (110, 120) the respective sensor data indicative of the first (210) and/or second object; at least partially converting the received sensor data such that the sensor data indicates the at least one property of the first (210) and/or second object; and/or extracting the at least one property of the first (210) and/or second object from the received sensor data.

system (100) after claim 20 , wherein the controller (150) is designed to perform the conversion and/or extraction via a first to third extraction neural networks, wherein the first to third extraction neural networks are configured to be used for the conversion and/or extraction of the first to third sensor data, respectively to become.

System (100) according to one of Claims 13 until 21 , wherein at least one of the first to third predetermined thresholds is based on at least one of an accuracy of the at least one property, a transmission speed of the respective sensor data, a conversion speed of the conversion of the received sensor data and an extraction speed of the extraction of the at least one property and/or wherein at least one of the first to third predetermined thresholds based on an application of the first and/or second sensor data.

Vehicle having a processor designed to run the computer program product claim 11 execute a virtual sensor claim 12 and/or a system (100) according to any one of Claims 13 until 22 includes.