DE102019218349A1

DE102019218349A1 - Method for classifying at least one ultrasonic echo from echo signals

Info

Publication number: DE102019218349A1
Application number: DE102019218349.2A
Authority: DE
Inventors: Ulf Rueegg; Timo Winterling; Wilhelm Christopher von Rosenberg
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-05-27

Abstract

Es wird ein Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen einer Umgebung einer zumindest teilautomatisierten Plattform vorgeschlagen, wobei das jeweilige Echosignal von einem Ultraschallsystem detektiert wird, das jeweils einen Ultraschallimpuls zum Generieren eines Echosignals der Umgebung ausgesendet hat, mit den Schritten: Bereitstellen jeweiliger Echosignale einer Mehrzahl von Ultraschallimpulsen, wobei das jeweilige Echosignal zumindest ein Ultraschallecho aufweist; Bilden einer Eingangsmatrix mit der Mehrzahl der Echosignale; Generieren eines klassifizierten Echobildes mittels eines trainierten neuronalen Encoder-Decoder Netzwerkes und der Eingangsmatrix, wobei das neuronale Encoder-Decoder Netzwerk mittels einer Vielzahl von Trainings-Eingangsmatrizen und entsprechenden klassifizierten Trainings-Echobildern trainiert wurde, ein klassifiziertes Echobild aus einer Eingangsmatrix zu generieren, und das Echobild Ultraschallechos aufweist, wobei jedem Ultraschallecho eine Klasse zugeordnet ist.A method is proposed for classifying at least one ultrasonic echo from echo signals from an environment of an at least partially automated platform, the respective echo signal being detected by an ultrasound system which has each emitted an ultrasonic pulse to generate an echo signal of the environment, with the following steps: providing the respective echo signals a plurality of ultrasonic pulses, the respective echo signal having at least one ultrasonic echo; Forming an input matrix with the plurality of echo signals; Generating a classified echo image using a trained neural encoder-decoder network and the input matrix, the neural encoder-decoder network being trained to generate a classified echo image from an input matrix using a large number of training input matrices and corresponding classified training echo images Echo image has ultrasonic echoes, each ultrasonic echo being assigned a class.

Description

Stand der TechnikState of the art

Für eine Erfassung von Umweltrepräsentationen zum zumindest teilautomatisierten Fahren mittels Sensoren sind semantisch angereicherte Messdaten der eingesetzten Sensoren besonders wichtig.For the acquisition of environmental representations for at least partially automated driving by means of sensors, semantically enriched measurement data from the sensors used are particularly important.

Bei einer Fusion von Sensordaten einer Mehrzahl von Sensoren, die gegebenenfalls auch Sensoren mit unterschiedlichen Detektionsverfahren umfassen, können mit semantischen Informationen klassifizierte Objekte spezifisch und differenziert in die Fusion einbezogen werden. Beispielsweise kann bei einer Fusion berücksichtigt werden, dass ein als ein Auto klassifiziertes Objekt, das potentiell dynamisch ist und ein relativ gut beschreibbares Bewegungsmodell aufweist, anders erfasst wird als ein Fußgänger, der auch potentiell dynamisch, aber mit einem schwer zu berechnenden Bewegungsmodell zu beschreiben ist. Dabei hängt es auch von dem Detektionstyp der eingesetzten Sensoren, d. h. der jeweiligen Sensormodalität ab, welche Klassen von Objekten unterscheidbar sind. Ein Verfolgen bzw. Tracken der unterschiedlichen, erfassten Objekte wird dabei von allen identifizierten Klassen der Objekte insbesondere bei der Fusion der Sensordaten unterstützt.In the event of a fusion of sensor data from a plurality of sensors, which may also include sensors with different detection methods, objects classified with semantic information can be included in the fusion in a specific and differentiated manner. For example, in a merger it can be taken into account that an object classified as a car, which is potentially dynamic and has a relatively well describable movement model, is recorded differently than a pedestrian, who is also potentially dynamic but can be described with a movement model that is difficult to calculate . It also depends on the type of detection of the sensors used, i. H. the respective sensor modality, which classes of objects can be distinguished. Tracking or tracking of the different, detected objects is supported by all identified classes of the objects, in particular when the sensor data are merged.

Offenbarung der ErfindungDisclosure of the invention

In aktuell eingesetzten Ultraschall-Systemen gibt es keine semantische Klassifikation im eigentlichen Sinne. Es wird nur eine rudimentäre Zuordnung durchgeführt indem zwischen niedrigen Objekten, die überfahrbar sind, wie beispielsweise Gullydeckel oder Schlaglöcher, mittleren Hindernissen, wie beispielsweise einer verlorenen Fracht oder einer Box und hohen Hindernissen, wie beispielsweise Wänden oder Pfosten unterschieden wird. Eine Klassifikation, bzw. eine semantische Klassifikation von Ultraschallechos kann insbesondere die Performance des Gesamtsystems aus einer Vielzahl von Sensoren, beispielsweise mit unterschiedlicher Sensormodalität, verbessern. Unterschiedliche Objekttypen können dann für die weitere Verfolgung der Objekte - insbesondere bei der Fusion von Sensordaten unterschiedlicher Sensoren mit unterschiedlicher Sensormodalität - besser alternativ oder zusätzlich einfacher verarbeitet werden.In the currently used ultrasound systems there is no semantic classification in the actual sense. Only a rudimentary allocation is carried out by distinguishing between low objects that can be driven over, such as manhole covers or potholes, medium obstacles such as lost cargo or a box and high obstacles such as walls or posts. A classification or a semantic classification of ultrasonic echoes can in particular improve the performance of the overall system made up of a large number of sensors, for example with different sensor modality. Different object types can then be processed alternatively or additionally more simply for the further tracking of the objects - especially when merging sensor data from different sensors with different sensor modality.

Die vorliegende Erfindung offenbart ein Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen, ein entsprechendes Verfahren zum Trainieren eines neuronalen Encoder-Decoder Netzwerkes, ein Verfahren zum Bereitstellen eines Steuersignals, eine Vorrichtung, ein Computerprogrammprodukt, und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.The present invention discloses a method for classifying at least one ultrasonic echo from echo signals, a corresponding method for training a neural encoder-decoder network, a method for providing a control signal, a device, a computer program product, and a machine-readable storage medium, according to the features of the independent Expectations. Advantageous configurations are the subject matter of the dependent claims and the following description.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Klassifizieren von zumindest einem Ultraschallecho aus Echosignalen einer Umgebung einer zumindest teilautomatisierten Plattform vorgeschlagen. Dabei wird das jeweilige Echosignal von einem Ultraschallsystem detektiert, das jeweils einen Ultraschallimpuls zum Generieren eines Echosignals der Umgebung ausgesendet hat. Hierbei werden in einem Schritt jeweilige Echosignale einer Mehrzahl von Ultraschallimpulsen bereitgestellt, wobei das jeweilige Echosignal zumindest ein Ultraschallecho aufweist. In einem weiteren Schritt wird eine Eingangsmatrix mit der Mehrzahl der Echosignale gebildet. In einem weiteren Schritt wird ein klassifiziertes Echobild mittels eines trainierten neuronalen Encoder-Decoder Netzwerkes und der Eingangsmatrix generiert, wobei das neuronale Encoder-Decoder Netzwerk mittels einer Vielzahl von Trainings-Eingangsmatrizen und entsprechenden klassifizierten Trainings-Echobildern trainiert wurde, ein klassifiziertes Echobild aus einer Eingangsmatrix zu generieren, und das Echobild Ultraschallechos aufweist, wobei jedem Ultraschallecho eine Klasse zugeordnet ist.According to one aspect of the invention, a method for classifying at least one ultrasonic echo from echo signals from an environment of an at least partially automated platform is proposed. The respective echo signal is detected by an ultrasound system which has transmitted an ultrasound pulse to generate an echo signal for the environment. In this case, respective echo signals of a plurality of ultrasonic pulses are provided in one step, the respective echo signal having at least one ultrasonic echo. In a further step, an input matrix is formed with the plurality of echo signals. In a further step, a classified echo image is generated by means of a trained neural encoder-decoder network and the input matrix, the neural encoder-decoder network being trained by means of a large number of training input matrices and corresponding classified training echo images, a classified echo image from an input matrix to generate, and the echo image has ultrasonic echoes, each ultrasonic echo being assigned a class.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.In this entire description of the invention, the sequence of method steps is shown in such a way that the method is easy to understand. However, the person skilled in the art will recognize that many of the method steps can also be carried out in a different order and lead to the same or a corresponding result. In this sense, the sequence of the process steps can be changed accordingly. Some features are provided with counting words to improve readability or to make the assignment clearer, but this does not imply the presence of certain features.

Die klassifizierten Trainings-Echobilder können auch als mit einem Label versehene Echobilder verstanden werden, bei denen den jeweiligen Echobildern eine Ground Truth Information zugeordnet wird, um das jeweilige Ultraschallecho der Echobilder einer Klasse eines Objektes zuzuordnen. Eine solche Zuordnung kann in einem manuellen Prozess oder in einem zumindest teilautomatisierten Prozess erfolgen. Mit solchen klassifizierten, bzw. gelabelten Trainings-Echobildern kann dann das neuronale Encoder-Decoder Netzwerk trainiert werden, Ultraschallechos einer Mehrzahl von Echosignalen zu klassifizieren.The classified training echo images can also be understood as echo images provided with a label, in which the respective echo images are assigned ground truth information in order to assign the respective ultrasonic echo of the echo images to a class of an object. Such an assignment can take place in a manual process or in an at least partially automated process. With such classified or labeled training echo images, the neural encoder-decoder network can then be trained to classify ultrasonic echoes of a plurality of echo signals.

Bei dem Klassifizieren von Ultraschallechos mittels des trainierten neuronalen Encoder-Decoder Netzwerkes können Objektkategorien erkannt werden, die den einzelnen Ultraschallechos der Echosignale zugeordnet werden. Vorteilhaft bei dem beschriebenen Verfahren zur Klassifizierung von Ultraschallechos ist das Zusammenfassen einer Mehrzahl von Echosignalen zu einer Eingangsmatrix. So kann die für die Klassifizierung notwendige Dichte an semantischen Informationen für eine Klassifizierung mittels eines neuronalen Netzes erreicht werden. Die für eine Positionsbestimmung von Objekten mittels Ultraschallechos üblicherweise verwendete Multilateration, die unterschiedliche Laufzeiten unterschiedlicher Sensorsysteme auswertet, generiert typischerweise eine zu geringe Anzahl von Objekt-Punkten, um damit eine Klassifizierung durchzuführen. Außerdem bleiben bei dem hier vorgeschlagenen Verfahren Muster in aufeinanderfolgenden Ultraschallechos erhalten, was eine Klassifizierung der Ultraschallechos mit einer Mehrzahl von Echosignalen, die die Ultraschallechos aufweisen, ermöglicht.When classifying ultrasonic echoes by means of the trained neural encoder-decoder network, object categories can be recognized which are assigned to the individual ultrasonic echoes of the echo signals. In the described method for classifying ultrasonic echoes, it is advantageous to combine a plurality of echo signals to form an input matrix. In this way, the density of semantic information required for classification can be achieved by means of a neural network. The multilateration usually used to determine the position of objects by means of ultrasonic echoes, which evaluates different transit times of different sensor systems, typically generates too low a number of object points to carry out a classification. In addition, with the method proposed here, patterns are retained in successive ultrasonic echoes, which enables the ultrasonic echoes to be classified with a plurality of echo signals which the ultrasonic echoes have.

Dies entspricht weitgehend der semantischen Segmentierung eines mit einem Kamerasystem aufgenommenen digitalen Bildes, bei dem unterschiedlichen Pixeln des digitalen Bildes unterschiedliche Objektkategorien zugeordnet werden. Beispiele für typische Objektkategorien können, ohne einen Anspruch auf Vollständigkeit, sein: dynamische Objekte, statische Objekte, Fußgänger, Busse, Automobile, Fahrradfahrer, Straßen, Lichtzeichenanlagen oder Gehwege. This largely corresponds to the semantic segmentation of a digital image recorded with a camera system, in which different pixels of the digital image are assigned different object categories. Examples of typical object categories, without claiming to be exhaustive, can be: dynamic objects, static objects, pedestrians, buses, automobiles, cyclists, streets, traffic lights or sidewalks.

Bei Neuronalen Netzen kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.In neural networks, the signal at a connection of artificial neurons can be a real number, and the output of an artificial neuron is calculated by a non-linear function of the sum of its inputs. The connections of the artificial neurons typically have a weight that adapts as learning progresses. The weight increases or decreases the strength of the signal on a link. Artificial neurons can have a threshold so that a signal is only output if the total signal exceeds this threshold.

Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.Typically, a large number of artificial neurons are grouped together in layers. Different layers may perform different types of transformations on their inputs. Signals travel from the first layer, the input layer, to the last layer, the output layer; possibly after going through the layers several times.

Die Architektur eines solchen künstlichen Neuronalen Netzes kann ein Neuronales Netz sein, das entsprechend einem Multi-Layer-Perceptron (MLP) Netz aufgebaut ist. Ein Multi-Layer-Perceptron (MLP) Netz gehört zur Familie der künstlichen feed-forward Neuronalen Netzwerken. Grundsätzlich bestehen MLPs aus mindestens drei Schichten von Neuronen: einer Eingabe-Schicht, einer Zwischen-Schicht (hidden layer) und einer Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt, wobei ein Neuron einer Schicht immer mit allen Neuronen der nächsten Schicht verbunden ist. Es gibt keine Verbindungen zur vorherigen Schicht und keine Verbindungen, die eine Schicht überspringen. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sind. Ein tiefes Neuronales Netz kann viele solcher Zwischen-Schichten aufweisen.The architecture of such an artificial neural network can be a neural network that is constructed in accordance with a multi-layer perceptron (MLP) network. A multi-layer perceptron (MLP) network belongs to the family of artificial feed-forward neural networks. In principle, MLPs consist of at least three layers of neurons: an input layer, an intermediate layer (hidden layer) and an output layer. This means that all neurons in the network are divided into layers, with a neuron in one layer always being connected to all neurons in the next layer. There are no connections to the previous layer and no connections that skip a layer. Except for the input layer, the different layers consist of neurons that are subject to a non-linear activation function and are connected to the neurons of the next layer. A deep neural network can have many such intermediate layers.

Eine Verarbeitung von Bildern kann mit Neuronalen Encoder-Decoder-Netzwerken erfolgen, die analog den oben genannten Neuronalen Netzen weiterentwickelt sind. Die Architektur solcher Neuronalen Encoder-Decoder-Netzwerke besteht typischerweise aus zwei Teilen. Der erste Teil entspricht einem Autoencoder und ist eine Folge von Schichten, die die Eingabemuster in eine, in Bezug auf eine Datenmenge, niedrigere Auflösung herunter rechnen, um die gewünschten Informationen zu erhalten und redundante Informationen zu reduzieren. Der zweite Teil ist eine Folge von Schichten, die die Ausgabe des ersten Teils hochrechnen und die gewünschte Ausgabeauflösung, z. B. die Eingabeauflösung, wiederherstellen. Optional kann es zusätzliche Skip-Verbindungen geben, die einige Layer im ersten Teil und im zweiten Teil direkt verbinden.Images can be processed with neural encoder-decoder networks, which have been further developed analogously to the neural networks mentioned above. The architecture of such neural encoder-decoder networks typically consists of two parts. The first part corresponds to an autoencoder and is a sequence of layers that down-compute the input patterns into a lower resolution in relation to the amount of data in order to obtain the desired information and to reduce redundant information. The second part is a sequence of layers that extrapolate the output of the first part and obtain the desired output resolution, e.g. B. the input resolution, restore. Optionally, there can be additional skip connections that directly connect some layers in the first part and in the second part.

Solche Encoder-Decoder-Netzwerke müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des Neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron gewichtet die EingangsSignale mit seinem Gewicht und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis der Fehler unter einer vorgegebenen Grenze liegt.Such encoder-decoder networks have to be trained for their specific task. Each neuron receives the corresponding architecture of the neural network z. B. a random initial weight. The input data are then fed into the network, and each neuron weights the input signals with its weight and forwards the result to the neurons on the next layer. The overall result is then made available at the output layer. The size of the error can be calculated, as well as the contribution that each neuron contributed to the error, and then the weight of each neuron can be changed in the direction that minimizes the error. Then recursive runs, renewed measurements of the error and adjustment of the weights are carried out until the error is below a predetermined limit.

Die Eingangsmatrix mit der Mehrzahl der Echosignale wird dem trainierten neuronalen Encoder-Decoder Netzwerk als Eingangssignal bereitgestellt. Dies kann in Form einer Matrix mit nebeneinander in zeitlicher Abfolge geordneter Echosignale erfolgen oder beispielsweise auch in Form von in zeitlicher Abfolge geordneter Echosignale, die dem neuronalen Encoder-Decoder Netzwerk hintereinander weg oder in anderer immer gleichbleibender Weise bereitgestellt werden. D. h. sowohl beim Training des neuronalen Encoder-Decoder Netzwerk als auch beim Klassifizieren durch das Encoder-Decoder Netzwerk müssen die Echosignale in identischer Form, bereitgestellt werden.The input matrix with the plurality of echo signals is provided to the trained neural encoder-decoder network as an input signal. This can take place in the form of a matrix with echo signals arranged next to one another in a temporal sequence or, for example, also in the form of echo signals arranged in a temporal sequence, which the neural encoder-decoder network one after the other or always in another be provided in a consistent manner. I. E. Both when training the neural encoder-decoder network and when classifying by the encoder-decoder network, the echo signals must be provided in an identical form.

Dabei können die Ultraschallsignale das direkt von dem Ultraschallsystem bereitgestellte Signal sein oder die Ultraschallsignale können alternativ, bevor sie dem neuronalen Encoder-Decoder Netzwerk bereitgestellt werden, in Bezug auf eine Signalhöhe, ein Signal-Rauschen, eine Signallänge oder andere Eigenschaften des Ultraschallsignals modifiziert werden, um beispielsweise die Klassifizierung zu verbessern.The ultrasound signals can be the signal provided directly by the ultrasound system or, alternatively, before they are provided to the neural encoder-decoder network, the ultrasound signals can be modified with regard to a signal level, signal noise, signal length or other properties of the ultrasound signal, for example to improve the classification.

Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.A mobile platform can be understood to mean an at least partially automated system which is mobile and / or a driver assistance system. An example can be an at least partially automated vehicle or a vehicle with a driver assistance system. That is, in this context, an at least partially automated system includes a mobile platform with regard to an at least partially automated functionality, but a mobile platform also includes vehicles and other mobile machines including driver assistance systems. Further examples of mobile platforms can be driver assistance systems with several sensors, mobile multi-sensor robots such as robotic vacuum cleaners or lawn mowers, a multi-sensor monitoring system, a production machine, a personal assistant or an access control system. Each of these systems can be a fully or partially automated system.

Eine Mehrzahl von Echosignalen kann eine kleine Anzahl von Echosignalen wie beispielsweise zwei oder drei Echosignale umfassen, die Mehrzahl kann auch 100 Echosignale umfassen oder eine noch viel höhere Anzahl von Echosignalen kann zum Bilden einer Eingangsmatrix verwendet werden.A plurality of echo signals can comprise a small number of echo signals such as two or three echo signals, the plurality can also comprise 100 echo signals or an even higher number of echo signals can be used to form an input matrix.

Mit anderen Worten werden bei diesem Verfahren alle Ultraschallechos in ein gemeinsames Array eingetragen und somit ein Bild generiert. Mit einem solchen Bild können dann übliche Klassifikatoren der Bildverarbeitung ohne große Modifikationen angewendet werden.In other words, with this method, all ultrasonic echoes are entered in a common array and an image is thus generated. With such an image, the usual classifiers of image processing can then be used without major modifications.

Gemäß einem Aspekt wird vorgeschlagen, dass der Ultraschallimpuls zum Generieren eines Echosignals von einem Generator ausgesendet wird, der verschieden von dem detektierenden Ultraschallsystem ist.According to one aspect, it is proposed that the ultrasonic pulse for generating an echo signal is emitted by a generator that is different from the detecting ultrasonic system.

Gemäß einem Aspekt wird vorgeschlagen, dass statt des neuronalen Encoder-Decoder Netzwerks ein Long short-term memory oder ein Feed Forward neuronales Netzwerk für dieses Verfahren verwendet wird.According to one aspect, it is proposed that instead of the neural encoder-decoder network, a long short-term memory or a feed forward neural network is used for this method.

Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Encoder-Decoder Netzwerk zumindest eine Faltungsschicht aufweist. Durch die Verwendung von Faltungsschichten innerhalb des Encoder-Decoder Netzwerkes können Muster, die in den Eingangssignalen des neuronalen Netzwerkes vorhanden sind, identifiziert werden.According to one aspect, it is proposed that the neural encoder-decoder network have at least one convolution layer. By using convolution layers within the encoder-decoder network, patterns that are present in the input signals of the neural network can be identified.

Gemäß einem Aspekt wird vorgeschlagen, dass die Eingangsmatrix aus einer zeitlichen Abfolge der Mehrzahl der Echosignale, aufweisend eine jeweilige Amplitude und jeweilige Laufzeit des mindestens einen Ultraschallechos, gebildet wird. Mittels dieser Mehrzahl von Echosignalen kann das entsprechend trainierte neuronale Encoder-Decoder Netzwerk Muster in den Ultraschallechos der zeitlich aufeinanderfolgenden Echosignale identifizieren und damit die Ultraschallechos klassifizieren.According to one aspect, it is proposed that the input matrix be formed from a time sequence of the plurality of echo signals, having a respective amplitude and respective transit time of the at least one ultrasonic echo. Using this plurality of echo signals, the appropriately trained neural encoder-decoder network can identify patterns in the ultrasonic echoes of the echo signals following one another in time and thus classify the ultrasonic echoes.

Gemäß einem Aspekt wird vorgeschlagen, dass mittels einer Menge von Ultraschallsystemen eine entsprechende Menge von Eingangsmatrizen gebildet werden. Das klassifizierte Echobild wird mittels eines modifizierten trainierten neuronalen Netzwerkes und der Menge der Eingangsmatrizen mit der jeweiligen Mehrzahl der Echosignale des jeweiligen Ultraschallsystems der Menge der Ultraschallsysteme generiert. Hierfür wird das modifizierte neuronale Netzwerk mittels der entsprechenden Menge von Trainings-Eingangsmatrizen und klassifiziertem Trainings-Echobild trainiert, ein klassifiziertes Echobild aus einer Menge von Eingangsmatrizen zu generieren, wobei das Echobild jedem Ultraschallecho eine Klasse zuordnet.According to one aspect, it is proposed that a corresponding set of input matrices be formed by means of a set of ultrasound systems. The classified echo image is generated by means of a modified trained neural network and the set of input matrices with the respective plurality of echo signals of the respective ultrasound system of the set of ultrasound systems. For this purpose, the modified neural network is trained using the corresponding set of training input matrices and classified training echo image to generate a classified echo image from a set of input matrices, the echo image assigning a class to each ultrasonic echo.

Im Rahmen dieser Beschreibung gilt das für das neuronale Encoder-Decoder Netzwerk Beschriebene entsprechend für das modifizierte neuronale Encoder-Decoder Netzwerk. Die beiden Netzwerke unterscheiden sich in Bezug auf die Anzahl der bereitgestellten und verarbeiteten Eingangsmatrizen und dem entsprechenden Training mit der entsprechenden Anzahl von Trainings-Eingangsmatrizen. Die Verwendung einer höheren Anzahl von Eingangsmatrizen einer entsprechenden Anzahl von Sensorsystemen kann eine Genauigkeit der Klassifikation der mit dem jeweiligen Ultraschallsystem detektieren Objekte verbessern.In the context of this description, what is described for the neural encoder-decoder network applies accordingly to the modified neural encoder-decoder network. The two networks differ in terms of the number of input matrices provided and processed and the corresponding training with the corresponding number of training input matrices. The use of a higher number of input matrices of a corresponding number of sensor systems can improve the accuracy of the classification of the objects detected with the respective ultrasound system.

Gemäß einem Aspekt wird die Menge der Ultraschallsysteme so eingerichtet, dass die von dem jeweiligen Ultraschallsystem ausgesendeten Ultraschallimpulse von den Ultraschallsystemen identifiziert werden, sodass es zu keiner Fehlzuordnung von ausgesendetem Ultraschallimpuls und empfangenen Echosignalen kommen kann. Dies kann beispielsweise über eine Form eines Ultraschallsignals, in Bezug auf einen Amplituden-Verlauf, eine Ultraschallimpuls-Länge oder eine Ultraschallfrequenz erreicht werden.According to one aspect, the set of ultrasound systems is set up such that the ultrasound pulses emitted by the respective ultrasound system are identified by the ultrasound systems, so that there can be no misallocation of the emitted ultrasound pulse and the received echo signals. This can, for example, be related to some form of an ultrasonic signal on an amplitude curve, an ultrasonic pulse length or an ultrasonic frequency can be achieved.

Mit anderen Worten verbessert dieser Aspekt des Verfahrens zur Klassifizierung die Klassifizierung von Ultraschallechos weiter, da alle verfügbaren Informationen verwendet werden und nur physikalisch begründbare Echosignale für die Klassifizierung mit dem neuronalen Netz verwendet werden.In other words, this aspect of the method for classification further improves the classification of ultrasonic echoes, since all available information is used and only physically justifiable echo signals are used for the classification with the neural network.

Dabei kann das neuronale Netz so aufgebaut werden, dass bei der Verwendung einer unterschiedlichen Anzahl von Sensorsystemen nicht das gesamte neuronale Netz neu trainiert werden muss, sondern nur die Eingangsschichten an die neue Anzahl von Sensorsystemen angepasst werden und ein trainiertes neuronales Kern-Netz zur Verfügung steht, dessen Gewichte auf die Klassifikationsaufgabe schon trainiert wurden und das als Ausgangspunkt bzw. Ausgangswerte für ein Training des modifizierten neuronalen Netzes zur Verfügung steht. Damit können die entsprechenden Trainingszeiten bzw. Trainingsaufwände reduziert und leicht veränderten Kundenanforderungen angepasst werden.The neural network can be set up in such a way that when a different number of sensor systems are used, the entire neural network does not have to be retrained, but only the input layers are adapted to the new number of sensor systems and a trained neural core network is available whose weights have already been trained for the classification task and which is available as a starting point or output values for training the modified neural network. In this way, the corresponding training times or training effort can be reduced and easily adapted to changed customer requirements.

Gemäß einem Aspekt wird vorgeschlagen, dass die Menge der Ultraschallsysteme an der zumindest teilautomatisierten mobilen Plattform neben und/oder übereinander angeordnet sind.According to one aspect, it is proposed that the set of ultrasound systems be arranged next to and / or one above the other on the at least partially automated mobile platform.

Gemäß einem Aspekt wird vorgeschlagen, dass mit der Menge der Ultraschallsysteme mittels Multilateration aus dem jeweiligen Echosignal ein Objekt der Umgebung der zumindest teilautomatisierten mobilen Plattform räumliche Koordinaten des Objektes der Umgebung bestimmt werden und die jeweiligen Echosignale der Menge der Ultraschallsysteme entsprechend Anspruch 1 bis 5 klassifiziert werden.According to one aspect, it is proposed that with the set of ultrasound systems by means of multilateration from the respective echo signal, an object in the vicinity of the at least partially automated mobile platform is determined and the respective echo signals of the set of ultrasound systems are classified according to claims 1 to 5 .

Neben der Möglichkeit mit so angeordneten Ultraschallsystemen Objektpositionen in einer Umgebung der zumindest teilautomatisierten Plattform beispielsweise mit Multilaterations-Verfahren sowohl zwei- als auch dreidimensional zu bestimmen, kann durch diese Anordnung der Ultraschallsysteme das Verfahren zum Klassifizieren verbessert werden, da so den zwei- bzw. dreidimensionalen Objektpositionen jeweils Kategorien der Objekte zugeordnet werden können und somit die gesamte Kategorisierung verbessert werden kann.In addition to the possibility of determining object positions in an environment of the at least partially automated platform with ultrasound systems arranged in this way, for example with multilateration methods, both two- and three-dimensional, this arrangement of the ultrasound systems can improve the method for classification, since the two- or three-dimensional Object positions can each be assigned to categories of the objects and thus the overall categorization can be improved.

Gemäß einem Aspekt wird ein Verfahren zum Trainieren eines neuronalen Encoder-Decoder Netzwerkes vorgeschlagen ein klassifiziertes Echobild entsprechend einem der oben angegebenen Verfahren zu generieren, wobei das Training eine Vielzahl von Trainingssequenzen aufweist, die wiederholt werden, bis ein Absolutwert einer Loss-Funktion des neuronalen Encoder-Decoder Netzwerkes kleiner als ein festgelegter Schwellwert ist. Dabei weist eine Trainingssequenz die folgenden Schritte auf: According to one aspect, a method for training a neural encoder-decoder network is proposed to generate a classified echo image according to one of the methods specified above, the training having a plurality of training sequences that are repeated until an absolute value of a loss function of the neural encoder is reached Decoder network is smaller than a defined threshold value. A training sequence has the following steps:

In einem Schritt wird ein klassifiziertes Trainings-Echobild aus einer Vielzahl von bereitgestellten Trainings-Echobildern bereitgestellt. In einem weiteren Schritt wird zumindest eine Trainings-Eingangsmatrix mit einer Mehrzahl von Echosignalen des Ultraschallsystems entsprechend dem klassifizierten Trainings-Echobild aus einer Vielzahl von bereitgestellten Trainings- Eingangsmatrizen bereitgestellt.In one step, a classified training echo image is provided from a multiplicity of training echo images made available. In a further step, at least one training input matrix is provided with a plurality of echo signals of the ultrasound system corresponding to the classified training echo image from a plurality of training input matrices provided.

In einem weiteren Schritt wird die zumindest eine Eingangsmatrix als Eingangssignal des neuronalen Encoder-Decoder Netzwerkes verwendet.In a further step, the at least one input matrix is used as the input signal of the neural encoder-decoder network.

In einem weiteren Schritt wird ein klassifiziertes Echobild mittels zumindest einem, aus dem zumindest einen Referenz-Eingangssignal resultierenden, Ausgangssignal des Encoder-Decoder Netzwerkes erstellt.In a further step, a classified echo image is created by means of at least one output signal of the encoder-decoder network resulting from the at least one reference input signal.

In einem weiteren Schritt wird das neuronale Encoder-Decoder Netzwerk adaptiert, um beim Generieren des klassifizierten Echobildes eine Abweichung vom klassifizierten Referenz-Echobild zu minimieren.In a further step, the neural encoder-decoder network is adapted in order to minimize a deviation from the classified reference echo image when generating the classified echo image.

Gemäß einem Aspekt wird vorgeschlagen, dass die Eingangsmatrix aus einer zeitlichen Abfolge der Mehrzahl der Echosignale, aufweisend eine jeweilige Amplitude und jeweilige Laufzeit des mindestens einen Ultraschallechos, gebildet wird.According to one aspect, it is proposed that the input matrix be formed from a time sequence of the plurality of echo signals, having a respective amplitude and respective transit time of the at least one ultrasonic echo.

Durch eine Anpassung der Anzahl der Echosignale, die die Eingangsmatrix bilden, kann das Verfahren unterschiedlichen Anforderungen an Genauigkeit und Geschwindigkeit der Klassifizierung angepasst werden.By adapting the number of echo signals that form the input matrix, the method can be adapted to different requirements for accuracy and speed of the classification.

Gemäß einem Aspekt wird vorgeschlagen, dass zu jeder von dem jeweiligen Ultraschallsystem mittels der Mehrzahl von Echosignalen der zumindest einen Trainings-Eingangsmatrix erfassten Umgebung Kamerabilder angefertigt werden; und die zugehörigen Trainings-Echobilder basierend auf den jeweiligen angefertigten Kamerabildern für ein Trainieren des neuronalen Encoder-Decoder Netzwerkes gelabelt werden. Mittels der in Kamerabildern identifizierten und klassifizierbaren Objekte können die Trainings-Echobilder sowohl manuell als auch zumindest teilautomatisch mit Ground Truth Informationen über die Umgebung gelabelt werden.According to one aspect, it is proposed that camera images be produced for each of the surroundings captured by the respective ultrasound system by means of the plurality of echo signals of the at least one training input matrix; and the associated training echo images are labeled based on the respective camera images produced for training the neural encoder-decoder network. Using the objects identified and classifiable in camera images, the training echo images can be labeled both manually and at least partially automatically with ground truth information about the environment.

Gemäß einem Aspekt wird vorgeschlagen, dass das Klassifizieren in eine Klasse aus der Gruppe aufweisend: dynamische Objekte, statische Objekte, Fußgänger, Busse, Automobile, Fahrradfahrer, Straßen, Masten, Verkehrsschilder, Lichtzeichenanlagen oder Gehwege, erfolgt.According to one aspect, it is proposed that the classification into a class from the group comprising: dynamic objects, static objects, pedestrians, buses, automobiles, cyclists, Roads, masts, traffic signs, traffic lights or sidewalks.

Es wird ein Verfahren vorgeschlagen, wobei basierend auf dem zumindest einem klassifizierten Ultraschallecho aus einem der oben beschriebenen Verfahren zum Klassifizieren von Ultraschallechos ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem zumindest einem klassifizierten Ultraschallecho ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.A method is proposed in which, based on the at least one classified ultrasonic echo from one of the above-described methods for classifying ultrasonic echoes, a control signal for controlling an at least partially automated vehicle is provided; and / or a warning signal for warning a vehicle occupant is provided based on the at least one classified ultrasonic echo.

Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf dem zumindest einem klassifizierten Ultraschallecho bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass zumindest ein klassifiziertes Ultraschallecho für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals.The term “based on” is to be understood broadly in relation to the feature that a control signal is provided based on the at least one classified ultrasonic echo. It is to be understood in such a way that at least one classified ultrasonic echo is used for any determination or calculation of a control signal, although this does not exclude that other input variables are also used for this determination of the control signal. This applies accordingly to the provision of a warning signal.

Gemäß einem Aspekt wird eine Vorrichtung angegeben, die eingerichtet ist, eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.According to one aspect, a device is specified which is set up to carry out one of the methods described above. With such a device, the corresponding method can easily be integrated into different systems.

Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.According to one aspect, a computer program is specified which comprises instructions which, when the computer program is executed by a computer, cause the computer to execute one of the methods described above. Such a computer program enables the described method to be used in different systems.

Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.A machine-readable storage medium is specified on which the computer program described above is stored. The computer program described above is transportable by means of such a machine-readable storage medium.

AusführungsbeispieleEmbodiments

Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 2 dargestellt und im Folgenden näher erläutert. Es zeigen:

1 ein Verfahren zum Generieren klassifizierter Echobilder aus einer Mehrzahl von Echosignalen und
2 Schritte des Verfahrens zum Generieren klassifizierter Echobilder.

Embodiments of the invention will be described with reference to 1 to 2 and explained in more detail below. Show it:

1 a method for generating classified echo images from a plurality of echo signals and
2 Steps of the method for generating classified echo images.

1 und 2 zeigen schematisch das Verfahren 100 zum Klassifizieren von zumindest einem Ultraschallecho 110a-c aus Echosignalen 112a-f einer Umgebung einer zumindest teilautomatisierten Plattform, wobei das jeweilige Echosignal 112a-f von einem Ultraschallsystem detektiert wird, das jeweils einen Ultraschallimpuls zum Generieren eines Echosignals 112a-f der Umgebung ausgesendet hat. 1 and 2 show schematically the process 100 to classify at least one ultrasonic echo 110a-c from echo signals 112a-f an environment of an at least partially automated platform, the respective echo signal 112a-f is detected by an ultrasound system, which each generate an ultrasound pulse to generate an echo signal 112a-f the environment.

In einem ersten Schritt S1 werden die jeweiligen Echosignale 112a-f einer Mehrzahl von Ultraschallimpulsen, die von dem Ultraschallsystem ausgesendet wurden, bereitgestellt, wobei das jeweilige Echosignal 112a-f zumindest ein Ultraschallecho 110a-c aufweist.In a first step S1 the respective echo signals 112a-f a plurality of ultrasound pulses transmitted by the ultrasound system, the respective echo signal 112a-f at least one ultrasonic echo 110a-c having.

Zum Einen ist aus den zeitlich aufeinanderfolgenden Echosignalen 112a-f zu erkennen, dass das Ultraschallecho 110a-c aufgrund der identifizierten Laufzeit einen zunehmend kleineren oder einen größeren Abstand vom Ultraschall-Impulsgeber aufweist. Zum anderen zeigt das jeweilige Ultraschallecho 110a-c, das im Echosignal 112a-f enthalten ist, entsprechend dem Typ des jeweiligen Objektes, das von dem Ultraschallimpuls getroffen wurde, in den zeitlich aufeinanderfolgenden Echosignalen 112a-f bzw. Ultraschallechos 110a-c der Echosignale 112a-f unterschiedliche Muster.On the one hand, there is the echo signals that follow one another in time 112a-f to recognize that the ultrasonic echo 110a-c has an increasingly smaller or larger distance from the ultrasonic pulse generator due to the identified transit time. On the other hand, the respective ultrasonic echo shows 110a-c that is in the echo signal 112a-f is contained, according to the type of the respective object that was hit by the ultrasonic pulse, in the temporally successive echo signals 112a-f or ultrasonic echoes 110a-c of the echo signals 112a-f different patterns.

Beispielsweise zeigen feste, große Gegenstände auf die der Ultraschallimpuls fällt, in den detektierten aufeinanderfolgenden Echosignalen 112a-f bezüglich einer Laufzeit der jeweiligen Ultraschallechos 110a-c ein anderes Verhalten als ein Objekt, das kleinere Einheiten in unterschiedlichen Abständen zum Ultraschallsystem aufweist, denn in letzterem Fall kann erwartet werden, dass die Ultraschallechos 110a-c beispielsweise eine größere Breite aufweisen.For example, solid, large objects on which the ultrasonic pulse falls show in the detected successive echo signals 112a-f with regard to a transit time of the respective ultrasonic echoes 110a-c behaves differently than an object that has smaller units at different distances from the ultrasound system, because in the latter case it can be expected that the ultrasound echoes 110a-c for example have a greater width.

In einem weiteren Schritt S2 wird eine Eingangsmatrix 110 mit der Mehrzahl der Echosignale 112a-f gebildet und in einer zeitlichen Abfolge in der Eingangsmatrix 110 angeordnet.In a further step S2 becomes an input matrix 110 with the majority of the echo signals 112a-f formed and in a time sequence in the input matrix 110 arranged.

In einem weiteren Schritt S3 wird diese Eingangsmatrix 110 dem trainierten neuronalen Encoder-Decoder Netzwerk 120, 130 als Eingangssignal bereitgestellt. Das trainierte neuronale Encoder-Decoder Netzwerk 120, 130 generiert ein klassifiziertes Echobild 140 mittels der bereitgestellten Eingangsmatrix 110. Das neuronale Encoder-Decoder Netzwerk wurde für die Generierung eines klassifizierten Echobildes 140 mittels einer Vielzahl von Trainings-Eingangsmatrizen und entsprechenden klassifizierten Trainings-Echobildern trainiert. Dabei weist das von dem trainierten neuronalen Encoder-Decoder Netzwerk generierte Echobild 140 Ultraschallechos 142a-c auf und jedem dieser Ultraschallechos 142a-c wird von dem trainierten neuronalen Encoder-Decoder Netzwerk 120, 130 eine Klasse zugeordnet, die in der 1 mit Symbolen angedeutet den entsprechenden Ultraschallechos 142a-c im Echobild 140 zugeordnet sind.In a further step S3 becomes this input matrix 110 the trained neural encoder-decoder network 120 , 130 provided as an input signal. The trained neural encoder-decoder network 120 , 130 generates a classified echo image 140 using the input matrix provided 110 . The neural encoder-decoder network was used to generate a classified echo image 140 trained using a variety of training input matrices and corresponding classified training echo images. The echo image generated by the trained neural encoder-decoder network 140 Ultrasonic echoes 142a-c on and each of these ultrasonic echoes 142a-c is made by the trained neural encoder-decoder network 120 , 130 assigned a class that is in the 1 indicated with symbols the corresponding ultrasonic echoes 142a-c in the echo image 140 assigned.

Claims

Method (100) for classifying at least one ultrasonic echo (110a-c) from echo signals from an environment of an at least partially automated platform, the respective echo signal (112a-f) being detected by an ultrasonic system, which in each case generates an ultrasonic pulse to generate an echo signal (112a) f) has sent the environment, with the steps: Providing respective echo signals (112a-f) of a plurality of ultrasonic pulses, the respective echo signal (112a-f) having at least one ultrasonic echo (110a-c); Forming an input matrix (110) with the plurality of echo signals (112a-f); Generating a classified echo image (140) by means of a trained neural encoder-decoder network (120, 130) and the input matrix (110), the neural encoder-decoder network (120, 130) using a large number of training input matrices and corresponding classified trainings Echo images has been trained to generate a classified echo image (140) from an input matrix (110), and the classified echo image (140) has ultrasonic echoes (142a-c), each ultrasonic echo (142a-c) being assigned a class.

Method (100) according to Claim 1 wherein the neural encoder-decoder network (120, 130) has at least one convolution layer.

Method (100) according to Claim 1 or 2 wherein the input matrix (110) is formed from a time sequence of the plurality of echo signals (112a-f), having a respective amplitude and respective transit time of the at least one ultrasonic echo (110a-c).

Method (100) according to one of the Claims 1 to 3rd , a corresponding set of input matrices (110) being formed by means of a set of ultrasound systems; and the classified echo image (140) is generated by means of a modified trained neural encoder-decoder network (120, 130) and the set of input matrices (110) with the respective plurality of echo signals (110a-c) of the respective ultrasound system of the set of ultrasound systems, wherein the trained modified neural encoder-decoder network (120, 130) has been trained by means of the corresponding set of training input matrices and classified training echo images to generate a classified echo image (140) from a set of input matrices (110), the classified Echo image (140) assigns a class to each ultrasonic echo (142a-f).

Method (100) according to Claim 4 , the set of ultrasound systems being arranged next to and / or one above the other on the at least partially automated mobile platform.

Method (100) according to one of the Claims 4 or 5 , spatial coordinates of the object being determined with the amount of ultrasound systems by means of multilateration from the respective echo signal (112a-f) of an object in the vicinity of the at least partially automated mobile platform and the respective echo signals (112a-f) corresponding to the amount of ultrasound systems Claim 1 to 5 be classified.

Method for training a neural encoder-decoder network (120, 130) a classified echo image (140) according to one of the Claims 1 to 6th to generate, the training having a plurality of training sequences that are repeated until an absolute value of a loss function of the neural encoder-decoder network (120, 130) is less than a defined threshold value, the training sequence having the steps of: providing a classified Training echo image from a multiplicity of training echo images provided; Providing at least one training input matrix with a plurality of echo signals of the ultrasound system corresponding to the classified training echo image from a plurality of training input matrices provided; Using the at least one input matrix as an input signal of the neural encoder-decoder network; Creating a classified echo image (140) by means of at least one output signal of the encoder-decoder network (120, 130) resulting from the at least one reference input signal; and adapting the neural encoder-decoder network (120, 130) in order to minimize a deviation from the classified reference echo image when generating the classified echo image (140).

Procedure according to Claim 7 wherein camera images are produced for each of the surroundings detected by the respective ultrasound system by means of the plurality of echo signals of the at least one training input matrix; and the associated training echo images based on the respective camera images produced for training the neural encoder-decoder network (120, 130).

Method according to one of the preceding claims, wherein the classification into a class from the group comprising: dynamic objects, static objects, pedestrians, buses, automobiles, cyclists, streets, masts, traffic signs, traffic lights or sidewalks takes place.

Method according to one of the Claims 1 to 6th wherein, based on the at least one classified ultrasonic echo (142a-f), a control signal for controlling an at least partially automated vehicle is provided; and / or based on the at least one classified ultrasonic echo (142a-f), a warning signal for warning a vehicle occupant is provided.

Device which is set up, a method according to one of the Claims 1 to 10 perform.

Computer program, comprising instructions which cause the computer program to be executed by a computer, the method according to one of the Claims 1 to 10 to execute.

Machine-readable storage medium on which the computer program is based Claim 12 is stored.