DE102020209218A1

DE102020209218A1 - Method for detecting accessible grid cells in an environment using ultrasonic signals

Info

Publication number: DE102020209218A1
Application number: DE102020209218.4A
Authority: DE
Inventors: Ulf Rueegg; Patrick Scheckenbach; Fabian Duetsch; Timo Winterling; Wilhelm Christopher von Rosenberg; Andrea Kirsch; Timo Pfeiffer; Therese Inhester; Laurent Hoeltgen; Oezcan Kara
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2022-01-27

Abstract

Es wird ein Verfahren zur Erfassung zugänglicher Gitterzellen eines Raumgitters (130) in einem Umfeld einer mobilen Plattform (110) mittels Ultraschallsignalen, mit den folgenden Schritten vorgeschlagen:Bestimmen für zumindest ein Detektions-Paar (121, 122), das jeweils aus einem Ultraschall-Sender (121, 122) und einem Ultraschall-Empfänger (121, 122) der mobilen Plattform (110) gebildet wird, zumindest einer Ultraschall-Laufzeit zwischen einem von dem jeweiligen Ultraschall-Sender (121, 122) ausgesendeten Ultraschallsignal und zumindest einem, von dem jeweiligen Ultraschall-Empfänger (121, 122), empfangenen Ultraschallsignal, wobei das empfangene Ultraschallsignal (121, 122) aus dem Umfeld der mobilen Plattform (110) reflektiert wurde;Bestimmen zugänglicher Gitterzellen des Raumgitters(130), das um die mobile Plattform (110) gebildet ist, mittels der Anordnung des zumindest einen Detektions-Paares (121, 122) an der mobilen Plattform (110) und zumindest eines Ultraschall-Laufwegs, der mittels der zumindest einen Ultraschall-Laufzeit bestimmt wird, und eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens.A method for detecting accessible lattice cells of a spatial lattice (130) in the environment of a mobile platform (110) by means of ultrasonic signals is proposed, with the following steps: determining for at least one detection pair (121, 122), each consisting of an ultrasonic transmitter (121, 122) and an ultrasonic receiver (121, 122) of the mobile platform (110), at least one ultrasonic propagation time between an ultrasonic signal transmitted by the respective ultrasonic transmitter (121, 122) and at least one of the respective ultrasonic receiver (121, 122), the received ultrasonic signal (121, 122) being reflected from the area surrounding the mobile platform (110); determining accessible grid cells of the space grid (130) surrounding the mobile platform ( 110) is formed by arranging the at least one detection pair (121, 122) on the mobile platform (110) and at least one ultrasonic path, the is determined by means of the at least one ultrasound propagation time, and a machine learning method set up and trained for this purpose.

Description

Stand der TechnikState of the art

In aktuell eingesetzten Ultraschall-Systemen für zumindest teilweise automatisiertes Fahren werden Laufzeiten von Ultraschallpulsen bzw. Ultraschallsignalen gemessen. Ein oder mehrere Ultraschall-Sender emittieren einen wohldefinierten Puls, der von einem oder mehreren Objekten reflektiert und anschließend von einem oder mehreren Ultraschall-Sensoren empfangen wird, wobei ein solcher Ultraschallwandler in einem Zyklus gleichzeitig Ultraschall-Sender und -Empfänger sein kann. Die Ultraschall-Laufzeit wird unter Verwendung der Schallgeschwindigkeit in einen Ultraschall-Laufweg umgerechnet. Da der Ultraschall-Laufweg keine Winkelinformation enthält, ist nur bekannt, dass der Ort der Ultraschallpulsreflektion an einer Stelle auf einer Oberfläche von einem Rotationsellipsoiden liegt, der durch die beiden Ultraschall-Wandlerpositionen als Brennpunkte und die Hälfte des Ultraschall-Echolaufwegs als große Halbachse definiert ist. Wenn der Ultraschall-Sender dem -Empfänger entspricht, ergibt der Rotationsellipsoid eine Kugeloberfläche. Durch weitere empfangene Ultraschall-Echos bzw. empfangenen Ultraschallsignale, die von dem gleichen oder einem anderen Ultraschall-Sender emittiert wurden und von anderen oder dem gleichen Ultraschall-Empfänger empfangen wurden, lassen sich weitere Rotationsellipsoide erstellen. Je nach Modellannahme kann das Reflektionsobjekt des Ultraschallsignals durch z.B. den Schnittpunkt der Rotationsellipsoide oder eine Tangentialebene an die Rotationsellipsoide bestimmt werden. Durch geeignete Kombination mehrerer Ultraschall-Echos, teilweise über mehrere Sendezyklen hinweg, können die Parameter (z.B. für Punkte die Koordinaten) des reflektierenden Objekts bestimmt werden. Bislang werden diese Daten hauptsächlich dazu verwendet, zwischen Freiraum und der Anwesenheit möglicher Hindernisse zu unterscheiden, beispielsweise für Parkmanöver.In currently used ultrasonic systems for at least partially automated driving, transit times of ultrasonic pulses or ultrasonic signals are measured. One or more ultrasonic transmitters emit a well-defined pulse, which is reflected by one or more objects and then received by one or more ultrasonic sensors, such an ultrasonic transducer being able to be an ultrasonic transmitter and receiver at the same time in one cycle. Ultrasonic travel time is converted to an ultrasonic travel distance using the speed of sound. Since the ultrasound path contains no angular information, it is only known that the location of the ultrasound pulse reflection lies at a point on a surface of an ellipsoid of revolution, which is defined by the two ultrasound transducer positions as focal points and half of the ultrasound echo path as the semimajor axis . If the ultrasonic transmitter corresponds to the receiver, the ellipsoid of revolution results in a spherical surface. Further ellipsoids of rotation can be created by further received ultrasonic echoes or received ultrasonic signals, which were emitted by the same or another ultrasonic transmitter and received by another or the same ultrasonic receiver. Depending on the model assumption, the reflection object of the ultrasonic signal can be determined, for example, by the intersection of the ellipsoids of rotation or a tangent plane to the ellipsoids of rotation. The parameters (e.g. the coordinates for points) of the reflecting object can be determined by suitably combining several ultrasonic echoes, sometimes over several transmission cycles. So far, this data has mainly been used to distinguish between open space and the presence of possible obstacles, for example for parking manoeuvres.

Offenbarung der ErfindungDisclosure of Invention

Bei dem oben beschriebenen Ansatz werden hauptsächlich die jeweils ersten Echos bzw. erste empfangene Ultraschallsignale, die von einem UltraschallSensor empfangen werden, ausgewertet. Für eine sehr kleine Anzahl an reflektierenden Objekten im Umfeld einer mobilen Plattform lassen sich Objekte zuverlässig rekonstruieren, wenn genügend Ultraschallsignale als Ultraschall-Echos an einem Ultraschall-Empfänger detektiert werden. Allerdings gerät dieser Ansatz an seine Grenzen, wenn mehrere Objekte im Erfassungsbereich der Ultraschallsensoren liegen. Die Vielzahl an gebildeten Rotationsellipsoiden führt zu „Geister“-Schnittpunkten im dreidimensionalen Raum, die nicht auf den eigentlichen Objekten liegen. Außerdem muss hierbei die Voraussetzung erfüllt sein, dass das angenommene geometrische Modell oder eins der möglichen Modelle bei einem Multihypothesenansatz zum jeweiligen echten Objekt passt.In the approach described above, it is mainly the respective first echoes or first ultrasonic signals received, which are received by an ultrasonic sensor, that are evaluated. Objects can be reliably reconstructed for a very small number of reflecting objects in the vicinity of a mobile platform if sufficient ultrasonic signals are detected as ultrasonic echoes at an ultrasonic receiver. However, this approach reaches its limits when several objects are in the detection range of the ultrasonic sensors. The large number of rotation ellipsoids formed leads to "ghost" intersections in three-dimensional space that do not lie on the actual objects. In addition, the requirement must be met that the assumed geometric model or one of the possible models in a multi-hypothesis approach fits the respective real object.

Gemäß Aspekten der Erfindung wird ein Verfahren zur Erfassung zugänglicher Gitterzellen eines Raumgitters in einem Umfeld einer mobilen Plattform mittels Ultraschallsignalen, ein Verfahren zum Trainieren eines maschinellen Lernverfahrens, ein Verfahren zum Bereitstellen eines Steuersignals, eine Erfassungs-Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.According to aspects of the invention, a method for detecting accessible grid cells of a spatial grid in an environment of a mobile platform using ultrasonic signals, a method for training a machine learning method, a method for providing a control signal, a detection device, a computer program and a machine-readable storage medium, according to proposed the features of the independent claims. Advantageous configurations are the subject of the dependent claims and the following description.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.Throughout this description of the invention, the sequence of method steps is presented in such a way that the method is easy to follow. However, those skilled in the art will recognize that many of the method steps can also be carried out in a different order and lead to the same or a corresponding result. In this sense, the order of the method steps can be changed accordingly. Some features are numbered to improve readability or to clarify attribution, but this does not imply the presence of specific features.

Gemäß einem Aspekt wird ein Verfahren zur Erfassung zugänglicher Gitterzellen eines Raumgitters in einem Umfeld einer mobilen Plattform mittels Ultraschallsignalen vorgeschlagen, das die folgenden Schritte aufweist:

In einem Schritt wird für zumindest ein Detektions-Paar, das jeweils aus einem Ultraschall-Sender und einem Ultraschall-Empfänger der mobilen Plattform gebildet wird, zumindest eine Ultraschall-Laufzeit zwischen einem von dem jeweiligen Ultraschall-Sender ausgesendeten Ultraschallsignal und zumindest einem, von dem jeweiligen Ultraschall-Empfänger, empfangenen Ultraschallsignal bestimmt, wobei das empfangene Ultraschallsignal aus dem Umfeld der mobilen Plattform reflektiert wurde. In einem weiteren Schritt werden zugängliche Gitterzellen des Raumgitters, das um die mobile Plattform gebildet ist, mittels der Anordnung des zumindest einen Detektions-Paares an der mobilen Plattform und zumindest eines Ultraschall-Laufwegs, und eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens bestimmt, wobei der zumindest eine Ultraschall-Laufweg mittels der zumindest einen Ultraschall-Laufzeit bestimmt wird.

According to one aspect, a method for detecting accessible grid cells of a spatial grid in the environment of a mobile platform using ultrasonic signals is proposed, which has the following steps:

In one step, at least one ultrasonic propagation time between an ultrasonic signal emitted by the respective ultrasonic transmitter and at least one of the respective ultrasound receiver, determines the received ultrasound signal, the received ultrasound signal being reflected from the environment of the mobile platform. In a further step, accessible grid cells of the spatial grid formed around the mobile platform are determined by means of the arrangement of the at least one detection pair on the mobile platform and at least one ultrasonic path, and a machine learning method set up and trained for this purpose, wherein the at least one ultrasound propagation path is determined by means of the at least one ultrasound propagation time.

Dabei ist das Raumgitter mit zugänglichen und unzugänglichen Gitterzellen so um die mobile Plattform gebildet, dass es sich mit der mobilen Plattform mit bewegt. Das Raumgitter kann dabei unterschiedliche Dimensionen aufweisen. Insbesondere kann das Raumgitter drei Dimensionen aufweisen.The spatial grid with accessible and inaccessible grid cells is formed around the mobile platform in such a way that it moves with the mobile platform. The space lattice can have different dimensions. In particular, the space lattice can have three dimensions.

Das zumindest eine Detektions-Paar wird in dem Verfahren gebildet und stellt keine physikalische Einheit dar. D. h. solche Paare können auch aus einer geringeren Zahl von Ultraschall-Sendern als Ultraschall-Empfängern kombinatorisch gebildet werden und entsprechend umgekehrt. Ebenso kann ein Ultraschall-Sender in einem MeßZyklus des Verfahrens, entsprechend einer zeitlichen Abfolge, sowohl ein Ultraschall-Sender als auch ein Ultraschall-Empfänger sein.The at least one detection pair is formed in the method and does not represent a physical unit. such pairs can also be formed in combination with a smaller number of ultrasonic transmitters than ultrasonic receivers and vice versa. Likewise, an ultrasonic transmitter can be both an ultrasonic transmitter and an ultrasonic receiver in a measurement cycle of the method, corresponding to a time sequence.

Zugänglich sind Gitterzellen des Raumgitters für die mobile Plattform dann, wenn die mobile Plattform eine Gitterzelle des Raumgitters physikalisch besetzen kann. Das bedeutet, dass in dieser Gitterzelle kein anderes Objekt den notwendigen Raum für die mobile Plattform einnimmt oder aus Sicherheitsaspekten heraus nicht einnehmen sollte oder nicht gewünscht ist, wenn z.B. ein Anfang einer Motorhaube über einem Bein schwebt.Grid cells of the space grid are accessible to the mobile platform when the mobile platform can physically occupy a grid cell of the space grid. This means that in this grid cell no other object takes up the necessary space for the mobile platform or should not take up or is not desired for safety reasons, e.g. if the beginning of a car hood is hovering over a leg.

Dabei kann das maschinelle Lernverfahren mittels eines trainierten neuronalen Faltungs-Netzwerkes realisiert werden, das ggf. in Kombination mit vollständig verbundenen neuronalen Netzen, ggf. unter Nutzung von klassischen Regularisierungs- und Stabilisierungsschichten wie Batch-Normalisierung und Trainings-Drop-Outs, unter Nutzung verschiedener Aktivierungsfunktionen wie Sigmoid und ReLu, etc. strukturiert sind. Darüber hinaus können klassische Ansätze wie Support-Vector-Machines, Boosting, Entscheidungsbäume, sowie Random-Forrests auch für eine Realisierung des maschinellen Lernverfahrens und somit für das beschriebene Verfahren verwendet werden.The machine learning method can be implemented using a trained neural convolution network, which may be in combination with fully connected neural networks, possibly using classic regularization and stabilization layers such as batch normalization and training drop-outs, using various Activation functions such as Sigmoid and ReLu, etc. are structured. In addition, classic approaches such as support vector machines, boosting, decision trees and random forests can also be used to implement the machine learning method and thus for the method described.

Bei neuronalen Netzen kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten.In neural networks, the signal at a connection of artificial neurons can be a real number, and the output of an artificial neuron is calculated by a non-linear function of the sum of its inputs. The connections of the artificial neurons typically have a weight that adjusts as learning progresses. Weight increases or decreases the strength of the signal on a connection. Artificial neurons can have a threshold such that a signal is only output if the total signal exceeds this threshold. Typically, a large number of artificial neurons are combined in layers. Different layers may perform different types of transformations on their inputs. Signals travel from the first layer, the input layer, to the last layer, the output layer; possibly after going through the shifts several times.

Die Architektur eines solchen künstlichen neuronalen Netzes kann ein neuronales Netz sein, das ggf. mit weiteren, anders aufgebauten Schichten erweitert ist. Grundsätzlich weisen solche neuronalen Netze mindestens drei Schichten von Neuronen auf: eine Eingabe-Schicht, eine Zwischen-Schicht (hidden layer) und eine Ausgabe-Schicht. Das bedeutet, alle Neuronen des Netzwerks sind in Schichten eingeteilt.The architecture of such an artificial neural network can be a neural network, which is optionally expanded with further, differently constructed layers. Basically, such neural networks have at least three layers of neurons: an input layer, an intermediate layer (hidden layer) and an output layer. This means that all neurons in the network are divided into layers.

Dabei sind in feed-forward Netzen keine Verbindungen zu vorherigen Schichten realisiert. Bis auf die Eingabeschicht bestehen die unterschiedlichen Schichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen, und mit den Neuronen der nächsten Schicht verbunden sein können. Ein tiefes neuronales Netz kann viele solcher Zwischen-Schichten aufweisen.There are no connections to previous layers in feed-forward networks. Except for the input layer, the different layers consist of neurons that are subject to a non-linear activation function and can be connected to the neurons of the next layer. A deep neural network can have many such intermediate layers.

Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Such neural networks must be trained for their specific task. Each neuron of the corresponding architecture of the neural network receives z. B. a random starting weight. Then the input data is fed into the network, and each neuron can weight the input signals with its weight and passes the result on to the neurons of the next layer. The overall result is then provided at the output layer.

Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.The size of the error can be calculated, as well as the contribution each neuron made to that error, and then change the weight of each neuron in the direction that minimizes the error. Then recursively runs, re-measures the error and adjusts the weights until an error criterion is met.

Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test-Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt, bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.Such an error criterion can be, for example, the classification error on a test data set, or the current value of a loss function, for example on a training data set. Alternatively or additionally, the error criterion can relate to a termination criterion as a step in which overfitting would occur during training or the time available for training has expired.

Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter, wie z.B. Roboterstaubsauger oder Rasenmäher, ein PKW, ein LKW, ein Schiff, ein Hubschrauber, ein Flugzeug, ein Multisensor-Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.A mobile platform can be understood to mean an at least partially automated system that is mobile and/or a driver assistance system of a vehicle. An example can be an at least partially automated vehicle or a vehicle with a driver assistance system. That is, in this context, an at least partially automated system includes a mobile platform in relation to at least one partially automated functionality, but a mobile platform also includes vehicles and other mobile machines including driver assistance systems. Other examples of mobile platforms can be driver assistance systems with multiple sensors, mobile multi-sensor robots such as robotic vacuum cleaners or lawn mowers, a car, truck, ship, helicopter, airplane, multi-sensor surveillance system, manufacturing machine, personal assistant or a be an access control system. Each of these systems can be a fully or partially automated system.

Vorteilhafterweise lassen sich mit diesem Verfahren zugängliche Gitterzellen bzw. entsprechend unzugängliche Gitterzellen bestimmen, ohne ein geometrisches Modell zu verwenden, das notwendig wäre, um Objekte im Umfeld einer mobilen Plattform mittels empfangener Ultraschallsignale entsprechend einem klassischen Ansatz zu detektieren. Dies ist insbesondere deshalb vorteilhaft, weil die bekannten geometrischen Modelle nicht zu allen Objekten eines Umfeldes der realen Welt, wie beispielsweise Fahrrädern, passen.Advantageously, accessible grid cells and correspondingly inaccessible grid cells can be determined with this method without using a geometric model that would be necessary to detect objects in the environment of a mobile platform using received ultrasonic signals according to a classic approach. This is particularly advantageous because the known geometric models do not match all objects in a real-world environment, such as bicycles.

Ein weiterer Vorteil des beschriebenen Verfahrens zur Erfassung zugänglicher Gitterzellen ist, dass damit ein Problem der Bestimmung von Objekten in einem Umfeld überwunden werden kann. Denn aus der klassischen Auswertung mittels Rotationsellipsoiden, die sich aus den geometrischen Verhältnissen der Ultraschall-Sender und Ultraschall-Empfänger ergeben, mögliche Orte eines Objektes zu bestimmen, resultieren eine große Anzahl von Scheinzielen, die keinem realen Objekt zugeordnet werden können. Darüber hinaus wird mit diesem Verfahren zur Erfassung zugänglicher Gitterzellen ein weiteres Problem der klassischen Auswertung von empfangenden Ultraschallsignalen überwunden, nämlich dass bei einer großen Anzahl von Objekten die klassische Berechnung mit einer Vielzahl von empfangenen Ultraschallsignalen bzw. Ultraschall-Echos komplex und rechenintensiv wird. Dagegen kann bei dem beschriebenen Verfahren zur Erfassung zugänglicher Gitterzellen das maschinelle Lernverfahren für den entsprechenden Zweck trainiert werden.A further advantage of the method described for detecting accessible grid cells is that it can be used to overcome a problem in determining objects in an environment. A large number of decoy targets that cannot be assigned to a real object result from the classic evaluation using ellipsoids of rotation, which result from the geometric relationships of the ultrasonic transmitter and ultrasonic receiver, to determine possible locations of an object. In addition, this method for detecting accessible grid cells overcomes another problem of the classic evaluation of received ultrasound signals, namely that with a large number of objects, the classic calculation with a large number of received ultrasound signals or ultrasound echoes becomes complex and computationally intensive. In contrast, with the method described for detecting accessible grid cells, the machine learning method can be trained for the corresponding purpose.

Die Erfassung zugänglicher Gitterzellen, entsprechend dem hier beschriebenen Verfahren, beschreibt das Umfeld einer mobilen Plattform ausreichend in zugängliche und unzugängliche Gitterzellen eines Raumgitters, statt Objekte des Umfelds zu identifizieren. Insbesondere für zumindest teilautomatisiertes Fahren bzw. zumindest teilautomatisierte mobile Plattformen kann die Information über zugängliche und unzugängliche Gitterzellen ausreichen. Darüber hinaus ist es vorteilhaft, dass mit diesem Verfahren zugängliche bzw. entsprechende unzugängliche Gitterzellen statt diskrete Positionskoordinaten, wie beim klassischen Verfahren, bestimmt werden, wodurch diese Bestimmung von zugänglichen Gitterzellen des Raumgitters mit trainierten maschinellen Lernverfahren durchgeführt werden kann.The detection of accessible grid cells, according to the method described here, sufficiently describes the environment of a mobile platform in accessible and inaccessible grid cells of a spatial grid, instead of identifying objects in the environment. The information about accessible and inaccessible grid cells can be sufficient in particular for at least partially automated driving or at least partially automated mobile platforms. In addition, it is advantageous that accessible or correspondingly inaccessible lattice cells are determined with this method instead of discrete position coordinates, as in the classic method, whereby this determination of accessible lattice cells of the space lattice can be carried out with trained machine learning methods.

Für dieses Verfahren zur Erfassung zugänglicher Gitterzellen können die Eingangsdaten für das trainierte maschinelle Lernverfahren entsprechend der folgenden Tabelle für die jeweiligen Detektions-Paare strukturiert sein. Dabei wird für die entsprechenden Ultraschall-Empfänger (E1 bis E5) eine bestimmte Ultraschall-Laufzeit den jeweiligen Ultraschall-Sendern (S1 bis S4) zugeordnet, wie in der Tab. 1 dargestellt ist. Tab. 1 Ultraschall-Laufzeiten zugeordnet zu dem zugehörigen Detektions-Paar. E1 E2 E4 E5 S1 3.5 1.2 2.4 S2 0.9 S3 S4 For this method for detecting accessible grid cells, the input data for the trained machine learning method can be structured according to the following table for the respective detection pairs. A specific ultrasonic propagation time is assigned to the respective ultrasonic transmitters (S1 to S4) for the corresponding ultrasonic receivers (E1 to E5), as shown in Table 1. Tab. 1 Ultrasonic propagation times assigned to the associated detection pair. E1 E2 E4 E5 S1 3.5 1.2 2.4 S2 0.9 S3 S4

Dadurch, dass die Eingangsdaten für das trainierte maschinelle Lernverfahren in dieser Form an das maschinelle Lernverfahren übergeben werden können, kann bei diesem Verfahren auf langjährige Erfahrung in der Bildverarbeitung zurückgegriffen werden, da die entsprechenden Größen der Ultraschallsignale, wie beispielsweise die Ultraschall-Laufzeit oder andere Attribute, die aus den Ultraschallsignalen abgeleitet werden können, in der oben beschriebenen Form entsprechend einem zweidimensionalen Bild, in dem zu jedem Pixel zumindest ein Wert zugeordnet wird, dargestellt werden können.Because the input data for the trained machine learning process can be transferred to the machine learning process in this form, many years of experience in image processing can be used with this process, since the corresponding sizes of the ultrasound signals, such as the ultrasound propagation time or other attributes , which can be derived from the ultrasound signals, can be represented in the form described above in accordance with a two-dimensional image in which at least one value is assigned to each pixel.

Allgemein kann das hier beschriebene Verfahren analog auf andere abstandsmessende Sensoren übertragen werden, die keine direkte Winkelbestimmung aufweisen, wie z. B. Infrarotsensoren.In general, the method described here can be transferred analogously to other distance-measuring sensors that have no direct angle determination, such as B. Infrared sensors.

Gemäß einem Aspekt wird vorgeschlagen, dass die mobile Plattform eine Mehrzahl von Detektions-Paaren aufweist. In einem Schritt wird eine Vielzahl von Ultraschall-Laufzeiten mittels einer Vielzahl von Kombinationen von ausgesendeten und empfangenen Ultraschallsignalen der Mehrzahl der Detektions-Paare und ihrer Anordnung an der mobilen Plattform bestimmt. In einem weiteren Schritt werden die zugänglichen Gitterzellen des Raumgitters mittels der Anordnung der Mehrzahl der Detektions-Paare an der mobilen Plattform und einer Vielzahl von Ultraschall-Laufwegen und eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens bestimmt, wobei die Vielzahl von Ultraschall-Laufwegen mittels der Vielzahl der Ultraschall-Laufzeiten bestimmt wird.According to one aspect it is proposed that the mobile platform has a plurality of detection pairs. In one step, a multiplicity of ultrasound propagation times are determined using a multiplicity of combinations of transmitted and received ultrasound signals of the multiplicity of detection pairs and their arrangement on the mobile platform. In a further step, the accessible lattice cells of the spatial lattice are detected by means of the arrangement of the majority of the detection pairs on the mobile platform and a large number of ultrasonic paths and a machine set up and trained for this purpose Learning method determined, wherein the plurality of ultrasonic travel paths is determined by means of the plurality of ultrasonic transit times.

Durch die höhere Anzahl der Mehrzahl von Detektions-Paaren resultiert eine Vielzahl von bestimmten Ultraschall-Laufwegen, wodurch sich die Genauigkeit und Bestimmtheit des Verfahrens erhöht.The greater number of the plurality of detection pairs results in a large number of specific ultrasound paths, which increases the accuracy and specificity of the method.

Gemäß einem Aspekt wird vorgeschlagen, dass das Raumgitter zwei Dimensionen aufweist, und so horizontal zu der mobilen Plattform angeordnet ist, dass die zugänglichen Gitterzellen des zweidimensionalen Raumgitters eine Überfahrbarkeit der zugänglichen Gitterzellen durch die mobile Plattform charakterisieren.According to one aspect, it is proposed that the space grid has two dimensions and is arranged horizontally to the mobile platform in such a way that the accessible grid cells of the two-dimensional space grid characterize the mobile platform being able to drive over the accessible grid cells.

Für eine mobile Plattform, die sich auf einem Untergrund bewegt, wie beispielsweise ein Auto bzw. PKW oder ein LKW, kann das Raumgitter auf zwei Dimensionen beschränkt werden. Dabei hilft zu dieser Vereinfachung, dass beispielsweise relevante Objekte im Straßenverkehr Bodenkontakt haben und eine Höheninformation geringe Relevanz hat, sofern ein solches Objekt, wie beispielsweise ein Gullydeckel, überfahrbar ist.For a mobile platform that moves on a surface, such as a car or truck, the spatial grid can be restricted to two dimensions. This simplification is helped by the fact that, for example, relevant objects in road traffic have ground contact and height information is of little relevance if such an object, such as a manhole cover, can be driven over.

Dabei ist eine Gitterzelle bei einem zweidimensionalen Raumgitter dann zugänglich, wenn die mobile Plattform die entsprechenden Gitterzellen des Untergrundes überfahren kann. Dies schließt auch den Fall ein, dass ein Objekt im dreidimensionalen Raum oberhalb der Gitterzelle für den Untergrund so angeordnet ist, dass die mobile Plattform unter diesem Objekt durchfahren kann. Für eine Teilautomatisierung einer solchen mobilen Plattform ist die Beschreibung des Umfeldes mit Hilfe einer 2,5 dimensionalen Welt, d. h. einer zweidimensionalen Welt mit einer zusätzlichen Höheninformation, bzw. Zugänglichkeit, ausreichend. Der Untergrund einer solchen Zelle ist, wenn sie zugänglich ist, überfahrbar. Beispielsweise sind Gitterzellen mit hohen Hindernissen und/oder empfindlichen Objekten nicht zugänglich bzw. nicht überfahrbar. Freiflächen bzw. Untergründe sowie beispielsweise durch Ultraschallsignale detektierbare flache Objekte, wie beispielsweise Gullydeckel, sind zugänglich bzw. befahrbar.In this case, a grid cell in a two-dimensional space grid is accessible if the mobile platform can drive over the corresponding grid cells of the underground. This also includes the case that an object is arranged in three-dimensional space above the grid cell for the underground in such a way that the mobile platform can pass under this object. For a partial automation of such a mobile platform, the description of the environment using a 2.5-dimensional world, i. H. a two-dimensional world with additional height information, or accessibility, is sufficient. The subsoil of such a cell can be driven over if it is accessible. For example, grid cells with high obstacles and/or sensitive objects are not accessible or cannot be driven over. Open spaces or undergrounds as well as flat objects that can be detected, for example, by ultrasonic signals, such as manhole covers, are accessible or drivable.

Gemäß einem Aspekt wird vorgeschlagen, dass zumindest eines der ausgesendeten Ultraschallsignale frequenz- und/oder amplitudenmoduliert ist, und die jeweilige Ultraschall-Laufzeit zwischen einem ausgesendeten Ultraschallsignal und einem empfangenen Ultraschallsignal basierend auf dieser Frequenz- und/oder Amplitudenmodulation bestimmt wird. Durch eine Modulation der ausgesendeten Ultraschallsignale können diese leichter den empfangenen Ultraschallsignalen zugeordnet werden, um eine Ultraschall-Laufzeit zu bestimmen. Das bedeutet, dass das maschinelle Lernverfahren mit modellierten ausgesendeten Ultraschallsignalen verbessert werden kann. Insbesondere können durch die Modulation zusätzlich zu dem ersten eintreffenden Ultraschallsignal eine weitere Anzahl von später eintreffenden Ultraschallsignalen für das Verfahren zur Erfassung zugänglicher Gitterzellen ausgewertet werden.According to one aspect it is proposed that at least one of the emitted ultrasonic signals is frequency and/or amplitude modulated and the respective ultrasonic propagation time between a sent ultrasonic signal and a received ultrasonic signal is determined based on this frequency and/or amplitude modulation. By modulating the transmitted ultrasonic signals, they can be associated more easily with the received ultrasonic signals in order to determine an ultrasonic propagation time. This means that the machine learning process can be improved with modeled transmitted ultrasonic signals. In particular, in addition to the first incoming ultrasound signal, a further number of ultrasound signals arriving later can be evaluated for the method for detecting accessible grid cells through the modulation.

Gemäß einem Aspekt wird vorgeschlagen, dass für das jeweilige empfangene Ultraschallsignal eine Güte der Übereinstimmung mit der Modulation des entsprechenden ausgesendeten Ultraschallsignals bestimmt wird, und mittels der Güte der Übereinstimmung zugängliche Gitterzellen des Raumgitters mit einem für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahren bestimmt werden.According to one aspect, it is proposed that a quality of agreement with the modulation of the corresponding transmitted ultrasonic signal is determined for the respective received ultrasonic signal, and accessible grid cells of the spatial lattice are determined using the quality of agreement using a machine learning method set up and trained for this purpose.

Dabei ist das trainierte maschinelle Lernverfahren, beispielsweise durch eine Struktur der Eingangsdaten und durch ein entsprechendes Training mit entsprechenden Eingangsdaten, eingerichtet mit diesem zusätzlichen Attribut: per Güte der Übereinstimmung zugängliche Gitter zu bestimmen. Die Struktur der Eingangsdaten für das maschinelle Lernverfahren kann dann entsprechend den oben dargestellten Laufzeiten erweitert werden, indem für die entsprechenden Ultraschall-Empfänger (E1 bis E5) eine Güte der Übereinstimmung den jeweiligen Ultraschall-Sendern (S1 bis S4) zugeordnet wird, wie in der Tab. 2 dargestellt ist. Tab. 2 Güte der Übereinstimmung mit der Modulation zugeordnet zu dem zugehörigen Detektions-Paar, dabei sind die eingetragenen Werte nur beispielhaft. E1 E2 E3 E4 S1 15 28 17 S2 30 35 S3 S4 The trained machine learning method is set up with this additional attribute, for example through a structure of the input data and through a corresponding training with corresponding input data: to determine accessible grids based on the quality of the match. The structure of the input data for the machine learning process can then be expanded according to the runtimes shown above by assigning a quality of match to the respective ultrasonic transmitters (S1 to S4) for the corresponding ultrasonic receivers (E1 to E5), as shown in the Table 2 is shown. Tab. 2 Quality of agreement with the modulation assigned to the associated detection pair, the values entered are only examples. E1 E2 E3 E4 S1 15 28 17 S2 30 35 S3 S4

Zur Bestimmung der Laufzeit müssen ausgesendete Ultraschall-Signale und empfangene Ultraschallsignale einander zugeordnet werden. Sofern die ausgesendeten Ultraschallsignale amplituden- und/oder frequenzmoduliert sind, kann, wie schon oben beschrieben wurde, diese Zuordnung verbessert und/oder vereinfacht werden. Durch die zusätzliche Berücksichtigung der Güte der Übereinstimmung für die Bestimmung zugänglicher Gitterzellen mittels eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens, kann das Verfahren zur Bestimmung zugänglicher Gitterzellen verbessert werden, da die Güte Informationen über das Umfeld der entsprechend bestimmten Gitterzelle aufweist.In order to determine the transit time, transmitted ultrasonic signals and received ultrasonic signals must be assigned to one another. If the transmitted ultrasonic signals are amplitude and/or frequency modulated, this assignment can be improved and/or simplified, as already described above. The method for determining accessible grid cells can be improved by additionally taking into account the quality of agreement for the determination of accessible grid cells using a machine learning method set up and trained for this purpose, since the quality of information about has the environment of the correspondingly determined grid cell.

Gemäß einem Aspekt wird vorgeschlagen, dass für zumindest ein empfangenes Ultraschallsignal eine Signal-Amplitude bestimmt wird, und mittels der Signal-Amplitude zumindest ein Ultraschall-Laufweg mit einem für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahren bestimmt wird. Dabei ist das trainierte maschinelle Lernverfahren, beispielsweise durch eine Struktur der Eingangsdaten und durch ein entsprechendes Training mit entsprechenden Eingangsdaten, eingerichtet mit diesem zusätzlichen Attribut: per Signal-Amplitude zugängliche Gitter zu bestimmen.
Die Struktur der Eingangsdaten für das maschinelle Lernverfahren kann dann entsprechend der Tab. 2 erweitert werden, indem für die entsprechenden Ultraschall-Empfänger (E1 bis E5) eine Signal-Amplitude den jeweiligen Ultraschall-Sendern (S1 bis S4), analog zur Darstellung der Tab. 2, zugeordnet wird.
Durch die zusätzliche Berücksichtigung der Signal-Amplitude der empfangenen Ultraschall-Signale für die Bestimmung zugänglicher Gitterzellen mittels eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens, kann das Verfahren zur Bestimmung zugänglicher Gitterzellen verbessert werden, da die Signal-Amplitude Informationen über das Umfeld der entsprechend bestimmten Gitterzelle aufweist.According to one aspect, it is proposed that a signal amplitude is determined for at least one received ultrasound signal, and at least one ultrasound path is determined using the signal amplitude with a machine learning method set up and trained for this purpose. The trained machine learning method is set up with this additional attribute, for example through a structure of the input data and through a corresponding training with corresponding input data: to determine grids accessible by signal amplitude.
The structure of the input data for the machine learning method can then be expanded according to Table 2 by assigning a signal amplitude to the respective ultrasonic transmitters (S1 to S4) for the corresponding ultrasonic receivers (E1 to E5), analogous to the representation in Tab .2, is assigned.
By additionally considering the signal amplitude of the received ultrasound signals for determining accessible grid cells using a machine learning method set up and trained for this purpose, the method for determining accessible grid cells can be improved, since the signal amplitude contains information about the environment of the corresponding has a specific lattice cell.

Gemäß einem Aspekt wird vorgeschlagen, dass für zumindest ein empfangenes Ultraschallsignal eine Frequenzverschiebung zwischen dem jeweiligen ausgesendeten Ultraschallsignal und dem empfangenen Ultraschallsignal bestimmt wird, und mittels dieser Frequenzverschiebung zumindest ein Ultraschall-Laufweg bestimmt wird. Dabei ist das trainierte maschinelle Lernverfahren, beispielsweise durch eine Struktur der Eingangsdaten und durch ein entsprechendes Training mit entsprechenden Eingangsdaten, eingerichtet mit diesem zusätzlichen Attribut: per Frequenzverschiebung zugängliche Gitter zu bestimmen.
Die Struktur der Eingangsdaten für das maschinelle Lernverfahren kann dann entsprechend der Tab. 2 erweitert werden, indem für die entsprechenden Ultraschall-Empfänger (E1 bis E5) eine Frequenzverschiebung den jeweiligen Ultraschall-Sendern (S1 bis S4), analog zur Darstellung der Tab. 2, zugeordnet wird.
Durch die zusätzliche Berücksichtigung der Frequenzverschiebung der empfangenen Ultraschall-Signale für die Bestimmung zugänglicher Gitterzellen mittels eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens, kann das Verfahren zur Bestimmung zugänglicher Gitterzellen verbessert werden, da die Frequenzverschiebung Informationen über das Umfeld der entsprechend bestimmten Gitterzelle aufweist. Mit anderen Worten kann beispielsweise mittels der Frequenzverschiebung der zumindest eine Ultraschall-Laufweg bestimmt werden, indem zumindest ein ausgesendetes Ultraschallsignal einem empfangenen Ultraschallsignal zugeordnet wird. Basierend auf der Frequenzverschiebung kann ein Ultraschall-Laufweg auch mit anderen Verfahren bestimmt werden.According to one aspect, it is proposed that a frequency shift between the respective transmitted ultrasound signal and the received ultrasound signal is determined for at least one received ultrasound signal, and at least one ultrasound travel path is determined by means of this frequency shift. The trained machine learning method is set up with this additional attribute, for example through a structure of the input data and through a corresponding training with corresponding input data: to determine grids accessible by frequency shift.
The structure of the input data for the machine learning process can then be expanded according to Table 2 by applying a frequency shift to the respective ultrasonic transmitters (S1 to S4) for the corresponding ultrasonic receivers (E1 to E5), analogous to the representation in Table 2 , is assigned.
The method for determining accessible grid cells can be improved by additionally considering the frequency shift of the received ultrasonic signals for determining accessible grid cells using a machine learning method set up and trained for this purpose, since the frequency shift has information about the environment of the correspondingly determined grid cell. In other words, the at least one ultrasound path can be determined, for example, by means of the frequency shift, in that at least one transmitted ultrasound signal is assigned to a received ultrasound signal. Based on the frequency shift, an ultrasonic path can also be determined using other methods.

Gemäß einem Aspekt wird vorgeschlagen, dass für die Erfassung zugänglicher Gitterzellen empfangene Ultraschallsignale über mehrere Sendezyklen von ausgesendeten Ultraschall-Signalen durch Kombination der empfangenen Ultraschallsignale bzw. der resultierenden Ultraschall-Laufwege verwendet werden, um die Erfassung zugänglicher Gitterzellen zu verbessern. Dies ist besonders vorteilhaft wenn sich die mobile Plattform oder/und Objekte im Umfeld der mobilen Plattform bewegen.According to one aspect, it is proposed that ultrasonic signals received over several transmission cycles of transmitted ultrasonic signals are used for detecting accessible grid cells by combining the received ultrasonic signals or the resulting ultrasonic paths in order to improve the detection of accessible grid cells. This is particularly advantageous when the mobile platform and/or objects are moving in the vicinity of the mobile platform.

Gemäß einem Aspekt wird vorgeschlagen, dass einer Mehrzahl von Gitterzellen des Raumgitters mittels einer Vielzahl von empfangenen Ultraschallsignalen und einem lernbasierten semantischen Segmentierungsverfahren eine Vielzahl von Objekt-Klassen zugeordnet wird. Diese zusätzlichen Objekt-Klassen, die der Mehrzahl von Gitterzellen zugeordnet werden, können für die Bestimmung zugänglicher Gitterzellen und für das zumindest teilautomatisierte Fahren verwendet werden, um eine Trajektorie zu planen.According to one aspect, it is proposed that a multiplicity of object classes be assigned to a multiplicity of grid cells of the spatial grid by means of a multiplicity of received ultrasonic signals and a learning-based semantic segmentation method. These additional object classes, which are assigned to the plurality of grid cells, can be used for determining accessible grid cells and for at least partially automated driving in order to plan a trajectory.

Es wird ein Verfahren zum Trainieren eines maschinellen Lernverfahrens zum Bestimmen zugänglicher Gitterzellen eines Raumgitters für eine mobile Plattform, entsprechend einem der oben beschriebenen Verfahren, vorgeschlagen, das mittels einer Vielzahl von Trainings-Zyklen und mit einer Vielzahl von Umfeldern der mobilen Plattform mit jeweiligen zugänglichen und unzugänglichen Gitterzellen des Raumgitters und zugehörigen Ultraschall-Laufzeiten zu zugeordneten Detektions-Paaren der mobilen Plattform durchgeführt wird. Dabei weist jeder Trainings-Zyklus der Vielzahl von Trainings-Zyklen die folgenden Schritte auf:

In einem Schritt wird ein Umfeld der mobilen Plattform mit zugänglichen und unzugänglichen Gitterzellen des Raumgitters und den zugehörigen Ultraschall-Laufzeiten zu den zugeordneten Detektions-Paaren bereitgestellt. In einem weiteren Schritt wird das maschinellen Lernverfahrens adaptiert, um bei dem Bestimmen zugänglicher Gitterzellen des Raumgitters mittels der zugehörigen Ultraschall-Laufzeiten zu den zugeordneten Detektions-Paaren mit dem maschinellen Lernverfahren eine Abweichung von den bereitgestellten zugänglichen Gitterzellen zu minimieren.

A method for training a machine learning method for determining accessible grid cells of a spatial grid for a mobile platform, according to one of the methods described above, is proposed that uses a large number of training cycles and with a large number of environments of the mobile platform with respective accessible and inaccessible lattice cells of the space lattice and associated ultrasonic propagation times to associated detection pairs of the mobile platform is carried out. Each training cycle of the plurality of training cycles has the following steps:

In one step, an area surrounding the mobile platform is provided with accessible and inaccessible grid cells of the space grid and the associated ultrasonic propagation times for the associated detection pairs. In a further step, the machine learning method is adapted in order to minimize a deviation from the accessible grid cells provided when determining accessible grid cells of the spatial grid by means of the associated ultrasound propagation times for the assigned detection pairs with the machine learning method.

Maschinelle Lernverfahren für dieses Training entsprechen den oben beschriebenen maschinellen Lernverfahren die für das Verfahren zur Erfassung zugänglicher Gitterzellen beschrieben wurden.Machine learning methods for this training correspond to the machine learning methods described above for the accessible grid cell detection method.

Mit einem so trainierten maschinellen Lernverfahren kann das oben beschriebene Verfahren zur Erfassung zugänglicher Gitterzellen auf eine einfache Weise erstellt werden und an unterschiedliche Verhältnisse angepasst werden. Dies kann beispielsweise so durchgeführt werden, dass für das Training des maschinellen Lernverfahrens gleiche oder unterschiedliche Objekte systematisch um die mobile Plattform, wie beispielsweise ein Fahrzeug, herum aufgestellt werden oder mit einem Meßroboter platziert werden, wobei dabei mit zumindest einem Detektions-Paar Ultraschallsignale ausgesendet bzw. empfangen werden, um entsprechend dem Verfahren zur Erfassung zugänglicher Gitterzellen Ultraschall-Laufwege zu bestimmen. Die Gitterzellen eines Raumgitters in dem Umfeld der mobilen Plattform werden dabei je nach Platzierung der Objekte in zugänglich oder nicht zugänglich eingeteilt.With a machine learning method trained in this way, the method described above for detecting accessible grid cells can be created in a simple manner and adapted to different conditions. This can be done, for example, by systematically setting up the same or different objects around the mobile platform, such as a vehicle, for training the machine learning process, or placing them with a measuring robot, with at least one detection pair transmitting or detecting ultrasonic signals be received to determine ultrasonic travel paths in accordance with the Accessible Grid Cell Detection method. The grid cells of a spatial grid in the environment of the mobile platform are divided into accessible or inaccessible depending on the placement of the objects.

Gemäß einem Aspekt wird vorgeschlagen, dass bei dem Trainieren des maschinellen Lernverfahrens zusätzlich zu der Ultraschall-Laufzeit eine Signal-Amplitude des empfangenen Ultraschallsignals und/oder eine Güte der Übereinstimmung des empfangenen mit dem ausgesendeten Ultraschallsignal und/oder eine Frequenzverschiebung zwischen dem ausgesendeten und dem empfangenen Ultraschallsignal bereitgestellt wird, und das maschinelle Lernverfahren eingerichtet ist, mit diesen jeweiligen zusätzlichen Attributen die zugänglichen Gitterzellen zu bestimmen.According to one aspect, it is proposed that when training the machine learning method, in addition to the ultrasound propagation time, a signal amplitude of the received ultrasound signal and/or a quality of correspondence between the received and the transmitted ultrasound signal and/or a frequency shift between the transmitted and the received Ultrasound signal is provided, and the machine learning method is set up to determine the accessible grid cells with these respective additional attributes.

Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einer bestimmten Zugänglichkeit einer Gitterzelle eines Raumgitters in einem Umfeld einer mobilen Plattform, die entsprechend einem der oben beschriebenen Verfahren bestimmt wurde, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf der bestimmten Zugänglichkeit einer Gitterzelle, ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.A method is proposed in which, based on a specific accessibility of a lattice cell of a spatial lattice in the vicinity of a mobile platform, which was determined according to one of the methods described above, a control signal for controlling an at least partially automated vehicle is provided; and/or based on the determined accessibility of a grid cell, a warning signal for warning a vehicle occupant is provided.

Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einer bestimmten Zugänglichkeit einer Gitterzelle, die entsprechend einem der oben beschriebenen Verfahren bestimmt wurde, bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass die bestimmte Zugänglichkeit einer Gitterzelle für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals.The term "based on" is to be understood broadly in relation to the feature that a control signal is provided based on a particular accessibility of a grid cell determined according to one of the methods described above. It is to be understood in such a way that the specific accessibility of a grid cell is used for any determination or calculation of a control signal, although this does not rule out other input variables also being used for this determination of the control signal. This applies accordingly to the provision of a warning signal.

Es wird eine Erfassungs-Vorrichtung vorgeschlagen, die eingerichtet ist, eines
der oben beschriebenen Verfahren zur Erfassung zugänglicher Gitterzellen durchzuführen.
Mit einer solchen Erfassungs-Vorrichtung kann das entsprechende Verfahren
leicht in unterschiedliche Systeme integriert werden.It is proposed a detection device that is set up, one
perform the accessible grid cell detection methods described above.
With such a detection device, the corresponding method
easily integrated into different systems.

Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.According to one aspect, a computer program is provided which comprises instructions which, when the computer program is executed by a computer, cause the latter to execute one of the methods described above. Such a computer program enables the method described to be used in different systems.

Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.A machine-readable storage medium is specified, on which the computer program described above is stored. The computer program described above can be transported by means of such a machine-readable storage medium.

Ausführungsbeispieleexemplary embodiments

Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 dargestellt und im Folgenden näher erläutert. Es zeigt:

1 ein Schema des Verfahrens zur Erfassung zugänglicher Gitterzellen eines Raumgitters in einem Umfeld einer mobilen Plattform.

Embodiments of the invention are described with reference to FIG 1 shown and explained in more detail below. It shows:

1 a schematic of the method for detecting accessible grid cells of a space grid in an environment of a mobile platform.

Die 1 skizziert schematisch ein Verfahren zur Erfassung zugänglicher Gitterzellen eines Raumgitters 130 in einem Umfeld einer mobilen Plattform 110 mittels Ultraschallsignalen. In einem Schritt wird für zumindest ein Detektions-Paar 121, 122, das jeweils aus einem Ultraschall-Sender 121, 122 und einem Ultraschall-Empfänger 121, 122 gebildet, und die jeweils an der mobilen Plattform 110 angeordnet sind, zumindest eine Ultraschall-Laufzeit zwischen einem von dem jeweiligen Ultraschall-Sender 121, 122 ausgesendeten Ultraschallsignal und zumindest einem, von dem jeweiligen Ultraschall-Empfänger 121, 122, empfangenen Ultraschallsignal bestimmt, wobei das empfangene Ultraschallsignal aus dem Umfeld der mobilen Plattform aus nicht zugänglichen Gitterzellen A, B reflektiert wurde. Dabei können die hier skizzierten Ultraschallwandler sowohl als Ultraschall-Sender 121, 122 als auch als Ultraschall-Empfänger 121, 122 verwendet werden.
In der Darstellung der 1 sind die möglichen Orte auf denen entsprechend der Ultraschall-Laufwege nicht zugängliche Gitterzellen A, B des Raumgitters 130 liegen können durch Kreise 121a, 121b bzw. Ellipsen 122a, 122b skizziert.
Dort wo sich entsprechende Kreise 121a, 121b bzw. Ellipsen 122a, 122b schneiden, können sich im Umfeld der mobilen Plattform unzugängliche Gitterzellen, die durch, beispielsweise nicht überfahrbare, Objekte belegt sind, befinden. Diese sind allerdings von den „ Geisterschnittpunkten“, wie oben erläutert zu unterscheiden.
In einem weiteren Schritt werden zugängliche Gitterzellen des Raumgitters 130, hier also alle Gitterzellen 130 außer A und B, mittels der Anordnung des zumindest einen Detektions-Paares 121, 122 der mobilen Plattform 110 und zumindest eines Ultraschall-Laufwegs, und eines für diesen Zweck eingerichteten und trainierten maschinellen Lernverfahrens bestimmt, wobei der zumindest eine Ultraschall-Laufweg mittels der zumindest einen Ultraschall-Laufzeit bestimmt wird.
Dabei ist das Raumgitter 130, das sowohl zugängliche als auch nicht zugängliche Gitterzellen aufweist, so um die mobile Plattform 110 gebildet, dass es sich mit der mobilen Plattform mit bewegt.the 1 schematically outlines a method for detecting accessible lattice cells of a spatial lattice 130 in the environment of a mobile platform 110 by means of ultrasonic signals. In one step, at least one ultrasonic propagation time is determined for at least one detection pair 121, 122, each of which is formed from an ultrasonic transmitter 121, 122 and an ultrasonic receiver 121, 122 and which are each arranged on the mobile platform 110 between an ultrasonic signal transmitted by the respective ultrasonic transmitter 121, 122 and at least one ultrasonic signal received by the respective ultrasonic receiver 121, 122, the received ultrasonic signal being reflected from the area surrounding the mobile platform from inaccessible grid cells A, B . The ultrasonic converters outlined here can be used both as ultrasonic transmitters 121, 122 and as ultrasonic receivers 121, 122.
In the representation of 1 are the possible locations on which grid cells A, B of the spatial grid 130 that are not accessible according to the ultrasound paths can lie, are indicated by circles 121a, 121b and Ellipses 122a, 122b outlined.
Wherever corresponding circles 121a, 121b or ellipses 122a, 122b intersect, there can be inaccessible grid cells in the vicinity of the mobile platform, which are occupied by objects that cannot be driven over, for example. However, these are to be distinguished from the “ghost intersection points”, as explained above.
In a further step, accessible grid cells of spatial grid 130, i.e. here all grid cells 130 except A and B, are detected by arranging the at least one detection pair 121, 122 of mobile platform 110 and at least one ultrasonic path, and one set up for this purpose and trained machine learning method, the at least one ultrasound travel path being determined by means of the at least one ultrasound travel time.
The spatial grid 130, which has both accessible and non-accessible grid cells, is formed around the mobile platform 110 in such a way that it moves with the mobile platform.

Claims

Method for detecting accessible grid cells of a spatial grid (130) in the environment of a mobile platform (110) using ultrasonic signals, with the steps: Determine for at least one detection pair (121, 122), each of which is formed from an ultrasonic transmitter (121, 122) and an ultrasonic receiver (121, 122) of the mobile platform (110), at least one ultrasonic propagation time between an ultrasonic signal emitted by the respective ultrasonic transmitter (121, 122) and at least one ultrasonic signal received by the respective ultrasonic receiver (121, 122), the received ultrasonic signal (121, 122) from the environment of the mobile platform (110 ) was reflected; Determining accessible grid cells of the spatial grid (130) formed around the mobile platform (110) by means of the arrangement of the at least one detection pair (121, 122) on the mobile platform (110) and at least one ultrasonic path, which is the at least one ultrasound runtime is determined, and a machine learning method set up and trained for this purpose.

procedure according to claim 1 wherein the mobile platform (110) comprises a plurality of detection pairs (121, 122); and a multiplicity of ultrasonic propagation times are determined by means of a multiplicity of combinations of transmitted and received ultrasonic signals of the plurality of detection pairs (121, 122) and their arrangement on the mobile platform (110); and the accessible grid cells of the spatial grid (130) are determined by means of the arrangement of the plurality of detection pairs (121, 122) on the mobile platform (110) and a large number of ultrasonic paths and a machine learning method set up and trained for this purpose, wherein the plurality of ultrasonic travel paths is determined using the plurality of ultrasonic travel times.

Method according to one of the preceding claims, wherein the space grid (130) has two dimensions and is arranged horizontally to the mobile platform (110) in such a way that the accessible grid cells of the two-dimensional space grid (130) can be traversed by the mobile platform ( 110) characterize.

Method according to one of the preceding claims, wherein at least one of the transmitted ultrasonic signals is frequency and/or amplitude modulated, and the respective ultrasonic propagation time between a transmitted ultrasonic signal and a received ultrasonic signal is determined based on this frequency and/or amplitude modulation.

procedure according to claim 4 , wherein a quality of agreement with the modulation of the corresponding transmitted ultrasonic signal is determined for the respective received ultrasonic signal, and are determined by means of the quality of agreement of accessible grid cells of the spatial grid with a machine learning method set up and trained for this purpose.

Method according to one of the preceding claims, wherein a signal amplitude is determined for at least one received ultrasonic signal, and accessible grid cells of the spatial grid (130) are determined using the signal amplitude using a machine learning method set up and trained for this purpose.

Method according to one of the preceding claims, wherein a frequency shift between the respective transmitted ultrasonic signal and the received ultrasonic signal is determined for at least one received ultrasonic signal, and grid cells of the spatial lattice (130) that are accessible by means of this frequency shift are determined using a machine learning method set up and trained for this purpose .

procedure according to claim 2 until 7 , wherein a plurality of lattice cells of the space lattice (130) by means of a plurality of received ultrasonic signals and a learning-based semanti cal segmentation method is assigned a large number of object classes.

Method for training a machine learning method for determining accessible grid cells of a space grid (130) for a mobile platform (110), according to any one of the preceding claims, by means of a plurality of training cycles and with a plurality of environments of the mobile platform (110) with respective accessible and inaccessible lattice cells of the space lattice (130) and associated ultrasound propagation times to associated detection pairs (121, 122) of the mobile platform (110), and each training cycle has the steps: Providing an area surrounding the mobile platform (110) with accessible and inaccessible grid cells of the space grid (130) and the associated ultrasound propagation times for the associated detection pairs (121, 122); and Adaptation of the machine learning method in order to minimize a deviation from the accessible grid cells provided when determining accessible grid cells of the spatial grid (130) by means of the associated ultrasonic propagation times for the associated detection pairs (121, 122) with the machine learning method.

procedure according to claim 9 , wherein in addition to the ultrasound propagation time, a signal amplitude of the received ultrasound signal and/or a quality of correspondence between the received and the transmitted ultrasound signal and/or a frequency shift between the transmitted and the received ultrasound signal is provided, and the machine learning method is set up, to determine the accessible grid cells with these respective additional attributes.

Method in which, based on one, according to one of Claims 1 until 8th specific accessibility of a lattice cell of a spatial lattice in the environment of a mobile platform, a control signal for controlling an at least partially automated vehicle is provided; and/or a warning signal for warning a vehicle occupant is provided based on the determined accessibility of the grid cells.

Detection device that is set up, a method according to any one of Claims 1 until 8th to perform.

Computer program, comprising instructions which, when the computer program is executed by a computer, cause the latter to carry out the method according to one of Claims 1 until 11 to execute.

Machine-readable storage medium on which the computer program Claim 13 is saved.