DE102019120651A1 - Pattern recognition using ultrasonic signals for autonomous driving - Google Patents

Pattern recognition using ultrasonic signals for autonomous driving Download PDF

Info

Publication number
DE102019120651A1
DE102019120651A1 DE102019120651.0A DE102019120651A DE102019120651A1 DE 102019120651 A1 DE102019120651 A1 DE 102019120651A1 DE 102019120651 A DE102019120651 A DE 102019120651A DE 102019120651 A1 DE102019120651 A1 DE 102019120651A1
Authority
DE
Germany
Prior art keywords
output
signal
threshold value
input
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019120651.0A
Other languages
German (de)
Inventor
Maximilian Poepperl
Raghavendra Gulagundi
Stefan Milz
Martin Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102019120651.0A priority Critical patent/DE102019120651A1/en
Publication of DE102019120651A1 publication Critical patent/DE102019120651A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G01S7/5273—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug, wobei die Signale mit einem neuronalen Netzwerk verarbeitet werden. Das Netzwerk weist eine Eingangsschicht und eine Ausgangsschicht auf, wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, und wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist. Die Eingangsneuronen und die Ausgangsneuronen wirken derart zusammen, dass die Ausgangsneuronen zur Erzeugung eines Musters zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben. Schließlich erfolgt das Verarbeiten des Signals durch eine Steuereinheit des Fahrzeugs. Auch betrifft die vorliegende Erfindung ein Computerprogramm, ein computerlesbares Speichermedium, ein System (1), ein Fahrzeug mit dem System (1) und ein Signal erzeugt durch Schritte des Verfahrens.

Figure DE102019120651A1_0000
The present invention relates to a method for pattern recognition by means of ultrasonic signals for a vehicle, the signals being processed with a neural network. The network has an input layer and an output layer, wherein the input layer has at least one input neuron with a first threshold value, and wherein the output layer has at least one output neuron with a second threshold value. The input neurons and the output neurons interact in such a way that the output neurons output at least one signal corresponding to a change in the ultrasonic signal in order to generate a pattern. Finally, the signal is processed by a control unit of the vehicle. The present invention also relates to a computer program, a computer-readable storage medium, a system (1), a vehicle with the system (1) and a signal generated by steps of the method.
Figure DE102019120651A1_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug. Auch betrifft die vorliegende Erfindung ein Computerprogramm zur Durchführung des Verfahrens. Des Weiteren betrifft die vorliegende Erfindung ein computerlesbares Speichermedium zur Durchführung des Verfahrens. Auch betrifft die Erfindung ein System, aufweisend Mittel zum Ausführen des Verfahrens. Zudem betrifft die Erfindung ein Fahrzeug mit dem System. Auch betrifft die Erfindung ein Signal erzeugt durch Schritte des Verfahrens.The present invention relates to a method for pattern recognition by means of ultrasonic signals for a vehicle. The present invention also relates to a computer program for carrying out the method. The present invention also relates to a computer-readable storage medium for performing the method. The invention also relates to a system having means for carrying out the method. The invention also relates to a vehicle with the system. The invention also relates to a signal generated by steps of the method.

Mustererkennung, auch bekannt als Pattern Recognition, ist ein Vorgang, in einer Menge von Daten Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen.Pattern recognition, also known as pattern recognition, is a process of recognizing regularities, repetitions, similarities or regularities in a set of data.

Typische Beispiele für die zahllosen Anwendungsgebiete sind Spracherkennung, Texterkennung und Gesichtserkennung. Insbesondere im Bereich des autonomen Fahrens gewinnt eine detaillierte Umgebungsauswertung durch Mustererkennung, die über eine Detektion von Zielen und die Bestimmung deren Abstand hinausgeht, immer mehr an Bedeutung. Mögliche Anwendungen sind die Höhenschätzung oder die Störungserkennung. Um diese Eigenschaften zu ermitteln, können verschiedene Algorithmen und Vorgehensweisen eingesetzt werden.Typical examples for the countless areas of application are speech recognition, text recognition and face recognition. In the field of autonomous driving in particular, a detailed evaluation of the surroundings by means of pattern recognition, which goes beyond the detection of targets and the determination of their distance, is becoming increasingly important. Possible applications are elevation estimation or fault detection. Various algorithms and approaches can be used to determine these properties.

Ein Ansatz zur Auswertung von Ultraschallsignalen besteht somit darin, diese mittels der Mustererkennung auszuwerten. Bei der Musterkennung gibt es unterschiedliche Ansätze. Eine erste Möglichkeit besteht darin, aus dem Empfangssignal verschiedene Eigenschaften (Features) zu extrahieren. Dazu zählen zum Beispiel die Anzahl der vorkommenden Ziele, die Dauer der Ziele oder aber auch die Form eines empfangenen Zielechos. Die Eigenschaften können mittels Klassifizierungsverfahren, wie zum Beispiel Baum-basierten Ansätzen, genutzt werden. Hieraus können detaillierte Informationen über die Ziele oder die Umgebung erhalten werden. Eine zweite Möglichkeit besteht darin, das abgetastete Signal bzw. einen Ausschnitt dessen direkt für die Mustererkennung zu nutzen. Dafür bieten sich künstliche neuronale Netzwerke (Artificial Neural Networks (ANN)) an.One approach to evaluating ultrasonic signals is to evaluate them using pattern recognition. There are different approaches to pattern recognition. A first possibility is to extract various properties (features) from the received signal. These include, for example, the number of targets occurring, the duration of the targets or the shape of a received target echo. The properties can be used by means of classification methods such as tree-based approaches. From this, detailed information about the destinations or the surroundings can be obtained. A second possibility is to use the scanned signal or a section of it directly for pattern recognition. Artificial Neural Networks (ANN) are ideal for this.

Nachteil ist, dass beide zuvor beschriebene Möglichkeiten einen hohen Rechenaufwand benötigen. Zum Beispiel erfordert die Extraktion von Features zur Signalform eine Vielzahl an Rechenschritten. Zusätzlich wird für die Klassifikation Rechenleistung benötigt, was insbesondere bei tiefen neuronalen Netzwerken (Deep Neural Networks (DNN)) ins Gewicht fällt. Um den Rechenaufwand zu reduzieren, ist es möglich, faltungsbasierte Netzwerke (Convolutional Neural Networks (CNN)) zu verwenden oder die Anzahl der Features für die Klassifikation durch Dimensionsreduzierung zu vermindern. Im Anwendungsbereich des autonomen Fahrens ist es allerdings besonders wichtig, möglichst schnell und detailliert die Eigenschaften der Umgebung ermitteln zu können. Eine solche schnelle und detaillierte Auswertung wird erheblich durch die Leistungsfähigkeit der Steuereinheit (ECU) des Fahrzeugs eingeschränkt. Insbesondere erfordern bekannte Methoden zur Auswertung von Ultraschallsignalen eine Vielzahl von Rechenschritten. Dies reduziert die Geschwindigkeit der Auswertung erheblich und schränkt die Verwendung von Ultraschallsignalen im Bereich des autonomen Fahrens ein.The disadvantage is that both of the options described above require a great deal of computing effort. For example, extracting waveform features requires a large number of computational steps. In addition, computing power is required for the classification, which is particularly important in the case of deep neural networks (DNN). In order to reduce the computational effort, it is possible to use convolutional neural networks (CNN) or to reduce the number of features for the classification by reducing dimensions. In the field of autonomous driving, however, it is particularly important to be able to determine the properties of the environment as quickly and in detail as possible. Such a quick and detailed evaluation is considerably restricted by the performance of the control unit (ECU) of the vehicle. In particular, known methods for evaluating ultrasonic signals require a large number of computing steps. This significantly reduces the speed of the evaluation and restricts the use of ultrasonic signals in the field of autonomous driving.

Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes System und verbessertes Verfahren anzugeben. Insbesondere sollen das System und das Verfahren bei einer beschränkt vorhandenen Leistungsfähigkeit der ECU eines Fahrzeugs dennoch eine detaillierte und schnelle Auswertung von Eigenschaften in der Umgebung eines Fahrzeugs ermöglichen.On the basis of the above-mentioned prior art, the invention is therefore based on the object of specifying a system and an improved method that are improved over the prior art. In particular, the system and the method should nevertheless enable a detailed and rapid evaluation of properties in the vicinity of a vehicle when the efficiency of the ECU of a vehicle is limited.

Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.The object is achieved according to the invention by the features of the independent claims. Advantageous embodiments of the invention are specified in the subclaims.

Erfindungsgemäß ist somit ein Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug angegeben, aufweisend folgende Schritte: Emittieren, durch eine Sendeeinheit, von Ultraschallsignalen auf eine Targetregion mit zumindest einem Objekt; Empfangen, durch eine Empfangseinheit, von reflektierten Ultraschallsignalen, wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind; mustererkennendes Verarbeiten der reflektierten Ultraschallsignale mit einem neuronalen Netzwerk, wobei das neuronale Netzwerk eine Eingangsschicht und eine Ausgangsschicht aufweist, wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist, wobei der erste und der zweite Schwellwert derart ausgebildet sind, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts aktiviert werden und ein Signal ausgeben, wobei das zumindest eine Eingangsneuron der Eingangsschicht bei Überschreiten des ersten Schwellwerts zumindest ein Signal ausgibt, welches an das zumindest eine Ausgangsneuron der Ausgangsschicht zumindest mittelbar weitergeleitet wird, wobei die Eingangsneuronen und die Ausgangsneuronen derart zusammenwirken, dass die Ausgangsneuronen zur Mustererkennung zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben; und Verarbeiten des erkannten Musters durch eine Steuereinheit des Fahrzeugs.According to the invention, a method for pattern recognition by means of ultrasonic signals for a vehicle is thus specified, comprising the following steps: emitting, by a transmitting unit, ultrasonic signals onto a target region with at least one object; Receiving, by a receiving unit, reflected ultrasonic signals, the reflected ultrasonic signals being reflected from the at least one object in the target region; Pattern-recognizing processing of the reflected ultrasound signals with a neural network, the neural network having an input layer and an output layer, the input layer having at least one input neuron with a first threshold value, the output layer having at least one output neuron with a second threshold value, the first and the second threshold value are designed such that the at least one input neuron and the at least one output neuron are activated when the respective threshold value is exceeded and output a signal, the at least one input neuron of the input layer outputting at least one signal when the first threshold value is exceeded, which is sent to the at least one The output neuron of the output layer is passed on at least indirectly, the input neurons and the output neurons interacting in such a way that the output neurons for pattern recognition at least one signal corresponding to ei a change in the ultrasonic signal output; and processing the recognized pattern by a control unit of the vehicle.

Erfindungsgemäß ist außerdem ein Computerprogramm zur Durchführung des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.According to the invention, a computer program for performing the method according to the invention or one of the advantageous embodiments of the method is also specified.

Erfindungsgemäß ist außerdem ein computerlesbares Speichermedium zur Durchführung des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.According to the invention, a computer-readable storage medium for performing the method according to the invention or one of the advantageous embodiments of the method is also specified.

Erfindungsgemäß ist außerdem ein System, aufweisend Mittel zum Ausführen des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.According to the invention, a system having means for carrying out the method according to the invention or one of the advantageous embodiments of the method is also specified.

Erfindungsgemäß ist außerdem ein Fahrzeug mit dem erfindungsgemäßen System oder einer der vorteilhaften Ausgestaltungen des Systems angegeben.According to the invention, a vehicle with the system according to the invention or one of the advantageous configurations of the system is also specified.

Erfindungsgemäß ist außerdem ein Signal erzeugt durch Schritte des erfindungsgemäßen Verfahrens oder einer der vorteilhaften Ausgestaltungen des Verfahrens angegeben.According to the invention, a signal generated by steps of the method according to the invention or one of the advantageous embodiments of the method is also specified.

Zumindest mittelbar bedeutet hierbei, dass zwischen der Eingangsschicht und der Ausgangsschicht mindestens eine Zwischenschicht angeordnet sein kann, über die das zumindest eine Signal weitergeleitet wird. Dies entspricht somit einer mittelbaren Weiterleitung. Eine zumindest mittelbare Weiterleitung umfasst auch die Möglichkeit einer unmittelbaren Weiterleitung, also eine direkte Weiterleitung eines Signals von einer Eingangsschicht an eine Ausgangsschicht.At least indirectly here means that at least one intermediate layer can be arranged between the input layer and the output layer, via which the at least one signal is passed on. This corresponds to an indirect forwarding. At least indirect forwarding also includes the possibility of direct forwarding, that is to say direct forwarding of a signal from an input layer to an output layer.

Überraschenderweise wurden Synergieeffekte bei der Verarbeitung von Daten aus Ultraschallsignalen durch ein erfindungsgemäßes neuronales Netzwerk, wie z.B. ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)), festgestellt. Insbesondere erfolgt die Verarbeitung der Daten von Ultraschallsignalen erheblich effizienter durch das erfindungsgemäße neuronale Netzwerk. Hierbei hat sich überraschenderweise herausgestellt, dass das Ultraschallsignal mit seiner sehr hohen Signaldichte entsprechend einer hohen Qualität der über das Ultraschallsignal übermittelten Informationen über das erfindungsgemäße neuronale Netzwerk zielgerichtet und mit wenig Datenvolumen verarbeitet werden kann. In anderen Worten hat sich herausgestellt, dass das erfindungsgemäße neuronale Netzwerk gerade bei Ultraschallsignalen die wichtigen Informationen zur Erfassung der Umgebung des Fahrzeugs besonders effizient und schnell verarbeiten kann. Hierbei ist es ausreichend, die Signaländerungen, d. h. die Signalspitzen des Ultraschallsignals zur Mustererkennung zu benutzen.Surprisingly, synergy effects were found in the processing of data from ultrasound signals by a neural network according to the invention, such as a pulsed neural network (Spiking Neural Network (SNN)). In particular, the processing of the data from ultrasound signals takes place considerably more efficiently by the neural network according to the invention. It has surprisingly been found here that the ultrasonic signal with its very high signal density, corresponding to a high quality of the information transmitted via the ultrasonic signal, can be processed in a targeted manner via the neural network according to the invention and with little data volume. In other words, it has been found that the neural network according to the invention can process the important information for recording the surroundings of the vehicle particularly efficiently and quickly, especially in the case of ultrasonic signals. Here it is sufficient to monitor the signal changes, i. H. to use the signal peaks of the ultrasonic signal for pattern recognition.

Hierdurch ist eine Verwendung in Fahrzeugen bevorteilt. Messungen von Ultraschallsensoren des Fahrzeugs können mithilfe von dem erfindungsgemäßen neuronalen Netzwerk in einer Steuereinheit (Electronic Control Unit (ECU)) eines Fahrzeugs mit beschränkter Rechenleistung verarbeitet werden. Somit ist mit Vorteil keine Datenverbindung zu einem Rechnernetzwerk, z. B. eine Cloud, notwendig, um in einem Fahrzeug Eigenschaften von Objekten zu bestimmen, welche in der unmittelbaren Umgebung des Fahrzeugs sind. Somit kann mit Vorteil eine schnelle Erkennung von möglichen Hindernissen bzw. Gefahren erfolgen.Use in vehicles is thereby advantageous. Measurements from ultrasonic sensors of the vehicle can be processed with the aid of the neural network according to the invention in a control unit (Electronic Control Unit (ECU)) of a vehicle with limited computing power. Thus, no data connection to a computer network, e.g. B. a cloud, necessary to determine properties of objects in a vehicle, which are in the immediate vicinity of the vehicle. A quick detection of possible obstacles or dangers can thus advantageously take place.

Gemäß der Erfindung wird insbesondere eine Leistungsfähigkeit bei der Klassifizierung ermöglicht, welche einer Leistungsfähigkeit der Klassifizierung von konventionellen künstlichen neuronalen Netzwerken (Artificial Neural Networks (ANN)) ähnlich ist.According to the invention, in particular, a performance in the classification is made possible which is similar to a performance in the classification of conventional artificial neural networks (Artificial Neural Networks (ANN)).

Weiterhin ist vorliegend vorteilhaft, dass die Ultraschallmessungen bei dem Verfahren bzw. System nicht in bestimmten Taktungen, d. h. innerhalb von konstanten zeitlichen Abständen, notwendig sind. In anderen Worten sind variable Messzyklen möglich. Auch können Störungen mit Vorteil reduziert werden.Furthermore, it is advantageous in the present case that the ultrasonic measurements in the method or system are not performed in certain cycles, i.e. H. within constant time intervals. In other words, variable measuring cycles are possible. Disturbances can also be advantageously reduced.

In vorteilhafter Ausgestaltung der Erfindung sind die Sendeeinheit und/oder die Empfangseinheit beweglich angeordnet und/oder ausgebildet. In anderen Worten kann die Sendeeinheit an dem Fahrzeug angeordnet sein, um beweglich angeordnet zu sein. Dies ermöglicht eine flexible Ausgestaltung eines Systems zur Durchführung des erfindungsgemäßen Verfahrens. In anderen Worten ist denkbar, dass eine Empfangseinheit an einem ersten Fahrzeug Messsignale einer Sendeeinheit eines anderen, zweiten Fahrzeugs auswertet. Auch kann die Sendeeinheit zusätzlich an dem Fahrzeug beweglich angeordnet sein, um beweglich ausgestaltet zu sein. Alternativ oder zusätzlich kann eine (weitere) Sendeeinheit lokal, d.h. unbeweglich an einem Ort angeordnet sein, um Ultraschallsignale auf eine vorbestimmte Targetregion zu emittieren. Zuvor beschriebene vorteilhafte Ausgestaltungen der Sendeeinheit sind auch für die Empfangseinheit denkbar. Demnach sind flexible, bestimmten Umgebungen des Fahrzeugs anpassbare oder auch der Konfiguration des Fahrzeugs anpassbare Systeme möglich.In an advantageous embodiment of the invention, the transmitting unit and / or the receiving unit are arranged and / or designed to be movable. In other words, the transmission unit can be arranged on the vehicle in order to be arranged movably. This enables a flexible configuration of a system for carrying out the method according to the invention. In other words, it is conceivable that a receiving unit on a first vehicle evaluates measurement signals from a transmitting unit of another, second vehicle. The transmission unit can also be arranged movably on the vehicle in order to be designed to be moveable. Alternatively or additionally, a (further) transmitting unit can be arranged locally, i.e. immovably at one location, in order to emit ultrasonic signals onto a predetermined target region. Advantageous embodiments of the transmitting unit described above are also conceivable for the receiving unit. Accordingly, flexible systems that can be adapted to specific environments of the vehicle or also systems that can be adapted to the configuration of the vehicle are possible.

In vorteilhafter Ausgestaltung der Erfindung sind zumindest die Empfangseinheit, und insbesondere die Sendeeinheit, Teil eines eventbasierten Umfelderfassungssensors. Eine solche Ausgestaltung, insbesondere der Empfangseinheit, wechselwirkt synergetisch mit dem in der Verarbeitungseinheit verwendeten erfindungsgemäßen neuronalen Netzwerk: Eine eventbasierte Messung mit dem eventbasierten Umfelderfassungssensor erfolgt lediglich, wenn eine Änderung eines detektierten Zustandes bestimmt wird. Das erfindungsgemäße neuronale Netzwerk gibt wiederum aus der detektierten Änderung eine Signaländerung aus. Somit wird das zu verarbeitende Datenvolumen weiter reduziert.In an advantageous embodiment of the invention, at least the receiving unit, and in particular the transmitting unit, are part of an event-based environment detection sensor. Such a configuration, in particular the receiving unit, interacts synergistically with that in FIG Processing unit used neural network according to the invention: An event-based measurement with the event-based environment detection sensor only takes place when a change in a detected state is determined. The neural network according to the invention in turn outputs a signal change from the detected change. This further reduces the volume of data to be processed.

Insbesondere ist das neuronale Netzwerk ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)).In particular, the neural network is a pulsed neural network (Spiking Neural Network (SNN)).

In vorteilhafter Ausgestaltung der Erfindung ist der Schwellwert der Eingangsneuronen und/oder Ausgangsneuronen (oder weiteren Neuronen des Netzwerks) auf einen spezifischen Wert einer Signalkodierung und/oder oder einer Signalübertragungsrate ausgebildet. Solche Schwellwerte an den Neuronen, d. h. Knotenpunkten des erfindungsgemäßen neuronalen Netzwerks, können über ein Training des erfindungsgemäßen neuronalen Netzwerks vor der eigentlichen Nutzung des erfindungsgemäßen neuronalen Netzwerks erfolgen. Mit Vorteil ist eine bedarfsgerechte, d. h. für eine bestimmte Nutzungssituation optimierte, Einstellung der Schwellwerte und somit des erfindungsgemäßen neuronalen Netzwerks möglich. Hierdurch kann sich ergeben, dass die Schwellwerte je nach Klassifikationsproblem stark voneinander abweichen. In anderen Worten sind die Schwellwerte bereits vor der Nutzung des erfindungsgemäßen neuronalen Netzwerks für ein Fahrzeug Teil des erfindungsgemäßen neuronalen Netzwerks. Insbesondere sind für die Aktivierung der Eingangsneuronen, Ausgangsneuronen oder weiterer Neuronen Aktivierungsfunktionen vorgesehen, entsprechend welchen die Neuronen aktivierbar sind. Insbesondere werden zu diesem Zweck Differenzialgleichungen verwendet.In an advantageous embodiment of the invention, the threshold value of the input neurons and / or output neurons (or further neurons of the network) is designed for a specific value of a signal coding and / or a signal transmission rate. Such threshold values on the neurons, i. H. Nodes of the neural network according to the invention can take place via training of the neural network according to the invention before the neural network according to the invention is actually used. A needs-based, i. H. Optimized setting of the threshold values for a specific usage situation and thus of the neural network according to the invention is possible. This can result in the threshold values differing greatly from one another depending on the classification problem. In other words, the threshold values are part of the neural network according to the invention even before the neural network according to the invention is used for a vehicle. In particular, activation functions are provided for activating the input neurons, output neurons or other neurons, according to which the neurons can be activated. In particular, differential equations are used for this purpose.

In vorteilhafter Ausgestaltung der Erfindung ist der erste Schwellwert der Eingangsneuronen und/oder der zweite Schwellwert der Ausgangsneuronen und/oder ein dritter Schwellwert des zumindest einen weiteren Neurons des neuronalen Netzwerks derart ausgebildet, dass das Muster basierend auf zumindest einer Messung von der zumindest einen Empfangseinheit unabhängig von einer vorhergehenden Messung der Empfangseinheit bestimmbar ist. In anderen Worten sind die Schwellwerte derart konfiguriert, dass einzelne Messungen der Ultraschallsensoren klassifiziert werden, ohne vorangegangene Messungen von Ultraschallsensoren zu berücksichtigen.In an advantageous embodiment of the invention, the first threshold value of the input neurons and / or the second threshold value of the output neurons and / or a third threshold value of the at least one further neuron of the neural network is designed such that the pattern is independent of the at least one receiving unit based on at least one measurement can be determined from a previous measurement of the receiving unit. In other words, the threshold values are configured in such a way that individual measurements from the ultrasonic sensors are classified without taking previous measurements from the ultrasonic sensors into account.

Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.The invention is explained in more detail below with reference to the attached drawing using preferred embodiments. The features shown can represent an aspect of the invention both individually and in combination. Features of various exemplary embodiments can be transferred from one exemplary embodiment to another.

Es zeigt

  • 1 Ein Flussdiagramm mit Verfahrensschritten des erfindungsgemäßen Verfahrens und
  • 2 eine schematische Ansicht eines Ausführungsbeispiels eines erfindungsgemäßen Systems.
It shows
  • 1 A flowchart with method steps of the method according to the invention and
  • 2 a schematic view of an embodiment of a system according to the invention.

1 zeigt ein Flussdiagramm mit Verfahrensschritten gemäß einem erfindungsgemäßen Verfahren. Hierbei sind zumindest folgende Verfahrensschritte vorgesehen:

  • Die Sendeeinheit 2a emittiert Ultraschallsignale auf eine Targetregion mit zumindest einem Objekt (Schritt 100). Die Empfangseinheit 2b empfängt reflektierte Ultraschallsignale (Schritt 200), wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind. In dem erfindungsgemäßen neuronalen Netzwerk erfolgt ein mustererkennendes Verarbeiten der reflektierten Ultraschallsignale (Schritt 300).
1 shows a flow diagram with method steps according to a method according to the invention. At least the following process steps are provided:
  • The transmitter unit 2a emits ultrasonic signals onto a target region with at least one object (step 100 ). The receiving unit 2 B receives reflected ultrasonic signals (step 200 ), wherein the reflected ultrasonic signals are reflected from the at least one object in the target region. Pattern-recognizing processing of the reflected ultrasonic signals takes place in the neural network according to the invention (step 300 ).

Das neuronale Netzwerk weist eine Eingangsschicht und eine Ausgangsschicht auf. Die Eingangsschicht weist zumindest ein Eingangsneuron mit einem ersten Schwellwert auf und die Ausgangsschicht weist zumindest ein Ausgangsneuron mit einem zweiten Schwellwert auf.The neural network has an input layer and an output layer. The input layer has at least one input neuron with a first threshold value and the output layer has at least one output neuron with a second threshold value.

Der erste und der zweite Schwellwert sind derart ausgebildet, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts, insbesondere durch eine Ultraschallsignal-Änderung, aktiviert werden und ein Signal ausgeben. Das zumindest eine Eingangsneuron der Eingangsschicht gibt bei Überschreiten des ersten Schwellwerts zumindest ein Signal zur zumindest mittelbaren Weiterleitung an das zumindest eine Ausgangsneuron der Ausgangsschicht aus. Zumindest mittelbar bedeutet hierbei, dass zwischen der Eingangsschicht und der Ausgangsschicht mindestens eine Zwischenschicht angeordnet sein kann, über die das zumindest eine Signal weitergeleitet wird. Dies entspricht somit einer mittelbaren Weiterleitung. Eine zumindest mittelbare Weiterleitung umfasst auch die Möglichkeit einer unmittelbaren Weiterleitung, also eine direkte Weiterleitung eines Signals von einer Eingangsschicht an eine Ausgangsschicht. Die Eingangsneuronen und die Ausgangsneuronen wirken derart zusammen, dass die Ausgangsneuronen zur Erzeugung eines Musters zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben. Zuletzt erfolgt ein Verarbeiten des Signals durch die ECU des Fahrzeugs.The first and second threshold values are designed such that the at least one input neuron and the at least one output neuron are activated and output a signal when the respective threshold value is exceeded, in particular by a change in the ultrasonic signal. When the first threshold value is exceeded, the at least one input neuron of the input layer outputs at least one signal for at least indirect forwarding to the at least one output neuron of the output layer. At least indirectly here means that at least one intermediate layer can be arranged between the input layer and the output layer, via which the at least one signal is passed on. This corresponds to an indirect forwarding. At least indirect forwarding also includes the possibility of direct forwarding, that is to say direct forwarding of a signal from an input layer to an output layer. The input neurons and the output neurons interact in such a way that the output neurons output at least one signal corresponding to a change in the ultrasonic signal in order to generate a pattern. Finally, the signal is processed by the ECU of the vehicle.

Die 2 zeigt eine schematische Ansicht eines Ausführungsbeispiels eines erfindungsgemäßen Systems 1. Das System 1 ist geeignet zur Anwendung in einem Fahrzeug, und zwar zur Mustererkennung mittels Ultraschallsignalen. Das System 1 weist zumindest eine Sendeeinheit 2a auf. Die Sendeeinheit 2a ist ausgebildet zum Emittieren von zumindest einem Ultraschallsignal auf eine Targetregion mit zumindest einem Objekt.The 2 shows a schematic view of an embodiment of a system according to the invention 1 . The system 1 is suitable for use in a vehicle, specifically for pattern recognition using ultrasonic signals. The system 1 has at least one transmitter unit 2a on. The transmitter unit 2a is designed to emit at least one ultrasonic signal onto a target region with at least one object.

Die Targetregion ist eine Region in der Umgebung des Fahrzeugs. Die Targetregion umfasst eines oder mehrere Objekte. Bei den Objekten kann es sich beispielsweise um ein anderes Fahrzeug oder um ein Objekt am Straßenrand handeln. Voraussetzung ist, dass das Objekt in der Targetregion mittels Ultraschall detektierbar ist.The target region is a region around the vehicle. The target region comprises one or more objects. The objects can be, for example, another vehicle or an object on the roadside. The prerequisite is that the object in the target region can be detected using ultrasound.

Weiterhin weist das System 1 zumindest eine Empfangseinheit 2b auf. Die Empfangseinheit 2b ist ausgebildet zum Empfangen von zumindest reflektierten Ultraschallsignal. Das zumindest eine Ultraschallsignal ist von dem zumindest einen Objekt in der Targetregion reflektiert.Furthermore, the system 1 at least one receiving unit 2 B on. The receiving unit 2 B is designed to receive at least a reflected ultrasonic signal. The at least one ultrasonic signal is reflected from the at least one object in the target region.

Zur Auswertung eines Ultraschallsignals der Sendeeinheit 2a wird über eine vorbestimmte Zeitdauer eine Membran der Empfangseinheit 2b auf ihr Verhalten abgetastet. Hierdurch wird ein digitalisiertes Empfangssignal erhalten.For evaluating an ultrasonic signal from the transmitter unit 2a becomes a membrane of the receiving unit over a predetermined period of time 2 B sampled for their behavior. A digitized received signal is thereby obtained.

Danach wird das Signal von dem Sensor weiter an eine Steuereinheit (Electronic Control Unit (ECU)) des Fahrzeugs übertragen. Dort können weitere Verarbeitungsschritte durchgeführt werden.The signal is then transmitted from the sensor to a control unit (Electronic Control Unit (ECU)) of the vehicle. Further processing steps can be carried out there.

Das Ultraschallsignal, welches von der Empfangseinheit 2b detektiert wird, wird an eine Vorverarbeitungseinheit 3 übermittelt. In der Vorverarbeitungseinheit 3 können digitale Filter eingesetzt werden, um das von der Empfangseinheit 2b erhaltene digitale Signal vor zu verarbeiten. Anschließend kann eine Datenkompression durchgeführt werden.The ultrasonic signal sent by the receiving unit 2 B is detected, is sent to a preprocessing unit 3 transmitted. In the preprocessing unit 3 digital filters can be used to detect this from the receiving unit 2 B received digital signal prior to processing. Data compression can then be carried out.

Alternativ oder zusätzlich kann die Empfangseinheit 2b bereits komprimierte Daten des Ultraschallsignals an die Vorverarbeitungseinheit 3 übermitteln. Die Vorverarbeitungseinheit 3 kann Teil der Steuereinheit (ECU) des Fahrzeugs sein. Die Vorverarbeitungseinheit 3 kann auch Teil eines Sensors sein, welcher die Empfangseinheit 2b ebenfalls umfasst.Alternatively or in addition, the receiving unit 2 B already compressed data of the ultrasonic signal to the preprocessing unit 3 to transfer. The preprocessing unit 3 can be part of the vehicle's control unit (ECU). The preprocessing unit 3 can also be part of a sensor, which the receiving unit 2 B also includes.

Die Vorverarbeitungseinheit 3 übermittelt nach Abschluss der Vorverarbeitung die Daten an eine Konvertierungseinheit 4. Die Konvertierungseinheit 4 konvertiert die Daten in ein Bild. Vorteilhafterweise wird durch die Konvertierung der Daten in ein Bild ermöglicht, dass anschließend faltungsbasierte Varianten von Netzwerken angewandt werden können, welche eine weitere Reduzierung des Rechenaufwandes der ECU ermöglichen.The preprocessing unit 3 transmits the data to a conversion unit after the preprocessing has been completed 4th . The conversion unit 4th converts the data into an image. By converting the data into an image, it is advantageously possible that convolution-based variants of networks can then be used, which allow a further reduction in the computing effort of the ECU.

Das System 1 weist weiterhin eine Verarbeitungseinheit 5 auf. Die Verarbeitungseinheit 5 weist ein erfindungsgemäßes neuronales Netzwerk, z. B. ein gepulstes neuronales Netzwerk (Spiking Neural Network (SNN)), auf. Das neuronale Netzwerk ist ausgebildet, das zumindest eine reflektierte Ultraschallsignal als eine Signaländerung auszugeben, und zwar entsprechend einem Muster entsprechend zumindest einer Eigenschaft des zumindest einen Objekts der Targetregion.The system 1 furthermore has a processing unit 5 on. The processing unit 5 has a neural network according to the invention, e.g. B. a pulsed neural network (Spiking Neural Network (SNN)). The neural network is designed to output the at least one reflected ultrasonic signal as a signal change, specifically in accordance with a pattern corresponding to at least one property of the at least one object of the target region.

Insbesondere wird als Sendeeinheit 2a und als Empfangseinheit 2b ein eventbasierter Umfelderfassungssensor eingesetzt, welche dazu ausgestaltet ist, lediglich Signaländerungen anzuzeigen und diese an die Vorverarbeitungseinheit 3 und die Konvertierungseinheit 4 bzw. (je nach Verarbeitungsmethode des empfangenen Ultraschallsignals in den eventbasierten Umfelderfassungssensor selbst) die Verarbeitungseinheit 5 weiterzuleiten.In particular, it is used as a transmitter unit 2a and as a receiving unit 2 B an event-based environment detection sensor is used, which is designed to only display signal changes and these to the preprocessing unit 3 and the conversion unit 4th or (depending on the processing method of the received ultrasonic signal in the event-based environment detection sensor itself) the processing unit 5 forward.

Gemäß einer alternativen, nicht dargestellten, Ausführungsform ist eine Verarbeitungseinheit 5 vorgesehen, welche wie zuvor beschrieben ausgebildet ist. Die Verarbeitungseinheit 5 kann optional die Vorverarbeitungseinheit 3 und/oder die Konvertierungseinheit 4 mit den zuvor beschriebenen Eigenschaften aufweisen.According to an alternative embodiment, not shown, is a processing unit 5 provided, which is designed as described above. The processing unit 5 can optionally use the preprocessing unit 3 and / or the conversion unit 4th have the properties described above.

Die Verarbeitungseinheit 5 kann verschiedene Daten verarbeiten, um ein Muster zu bestimmen. Beispielsweise kann das zumindest eine Signal Daten mit zumindest einer mit Ultraschall detektierbaren Eigenschaft des zumindest einen Objekts der Targetregion aufweisen. Alternativ oder zusätzlich können die Daten mit der zumindest einen Eigenschaft der Targetregion zumindest ein reflektiertes Ultraschallsignal einer vorhergehenden Messung der Empfangseinheit 2b aufweisen. In anderen Worten können Signale zeitlich vorangegangener Messungen zur Mustererkennung benutzt werden. Das neuronale Netzwerk ist mit Vorteil für die Verwendung zur Mustererkennung in einem Fahrzeug angepasst. Das neuronale Netzwerk kann neben dem zumindest einen Eingangsneuron und dem zumindest einen Ausgangsneuron zumindest ein weiteres Neuron in einer Zwischenschicht, d. h. einen Knotenpunkt zur Signalweiterleitung, aufweisen. Über diese beispielhaft zumindest eine Zwischenschicht wird das Signal von der Eingangsschicht zur Ausgabeschicht weitergeleitet. Das zumindest eine Eingangsneuron, das zumindest eine Eingangsneuron und/oder das zumindest eine weitere Neuron können mit einem Schwellwert für eine Signalkodierung und/oder Signalübertragungsrate ausgebildet sein. Alternativ oder zusätzlich kann das neuronale Netzwerk zumindest ein Eingangsneuron, zumindest ein Ausgangsneuron und/oder zumindest ein weiteres Neuron aufweisen mit einem Schwellwert, der derart konfiguriert ist, dass das Muster basierend auf zumindest einer Messung, von der zumindest einen Empfangseinheit 2b unabhängig von einer vorhergehenden Messung der Empfangseinheit 2b bestimmbar ist. Die zuvor beschriebenen vorteilhaften Ausgestaltungen der Eingangsneuronen, Ausgangsneuronen und weiteren Neuronen schließen mit ein, dass es sich um ein und denselben Knotenpunkt handelt, welcher alle zuvor beschriebenen vorteilhaften Merkmale aufweist.The processing unit 5 can process various data to determine a pattern. For example, the at least one signal can have data with at least one ultrasound detectable property of the at least one object of the target region. Alternatively or additionally, the data with the at least one property of the target region can contain at least one reflected ultrasound signal from a previous measurement by the receiving unit 2 B exhibit. In other words, signals from previous measurements can be used for pattern recognition. The neural network is advantageously adapted for use for pattern recognition in a vehicle. In addition to the at least one input neuron and the at least one output neuron, the neural network can have at least one further neuron in an intermediate layer, that is to say a node for signal transmission. The signal is passed on from the input layer to the output layer via this, for example, at least one intermediate layer. The at least one input neuron, the at least one input neuron and / or the at least one further neuron can be designed with a threshold value for a signal coding and / or signal transmission rate. Alternatively or additionally, the neural network can have at least one input neuron, at least one output neuron and / or at least one further neuron with a threshold value that is configured in such a way that the pattern is based on at least one measurement from the at least one receiving unit 2 B regardless of a previous measurement by the receiving unit 2 B is determinable. The previously described advantageous configurations of the input neurons, output neurons and further neurons also include the fact that one and the same node point is involved, which has all the advantageous features described above.

Sowohl die Sendeeinheit 2a als auch die Empfangseinheit 2b können beweglich angeordnet und/oder ausgebildet sein.Both the transmitter unit 2a as well as the receiving unit 2 B can be arranged and / or designed to be movable.

Das Fahrzeug kann das zuvor beschriebene System 1 aufweisen oder mit einer zuvor beschriebenen Verarbeitungseinheit 5 ausgestaltet sein.The vehicle can use the system described above 1 have or with a processing unit described above 5 be designed.

Das zuvor beschriebene System 1 bzw. Verfahren wird insbesondere in einem Fahrzeug verwendet. Das zuvor beschriebene Verfahren kann computerimplementiert sein. Auch ist von dem Rahmen der Erfindung ein computerlesbares Speichermedium umfasst, welches das erfindungsgemäße Verfahren umfasst. Von der Erfindung umfasst ist ebenfalls ein Signal zur Übertragung und/oder zum Empfang von dem erfindungsgemäßen System 1 oder gemäß vorteilhaften Ausgestaltungen des vorbeschriebenen Systems 1 bzw. ein Signal erzeugt durch Schritte des zuvor beschriebenen Verfahrens.The previously described system 1 or method is used in particular in a vehicle. The method described above can be computer implemented. The scope of the invention also includes a computer-readable storage medium which includes the method according to the invention. The invention also includes a signal for transmission and / or reception by the system according to the invention 1 or according to advantageous refinements of the system described above 1 or a signal generated by steps of the method described above.

BezugszeichenlisteList of reference symbols

11
Systemsystem
2a2a
SendeeinheitSending unit
2b2 B
EmpfangseinheitReceiving unit
33
VorverarbeitungseinheitPreprocessing unit
44th
KonvertierungseinheitConversion unit
55
Verarbeitungseinheit Processing unit
100100
Emittieren von Ultraschallsignalen auf eine Targetregion mit zumindest einem ObjektEmitting ultrasonic signals onto a target region with at least one object
200200
Empfangen von reflektierten UltraschallsignalenReceiving reflected ultrasonic signals
300300
Verarbeiten der reflektierten Ultraschallsignale durch ein neuronales NetzwerkProcessing of the reflected ultrasonic signals through a neural network

Claims (11)

Verfahren zur Mustererkennung mittels Ultraschallsignalen für ein Fahrzeug, aufweisend folgende Schritte: - Emittieren, durch eine Sendeeinheit (2a), von Ultraschallsignalen auf eine Targetregion mit zumindest einem Objekt (100); - Empfangen, durch eine Empfangseinheit (2b), von reflektierten Ultraschallsignalen (200), wobei die reflektierten Ultraschallsignale von dem zumindest einen Objekt in der Targetregion reflektiert sind; - mustererkennendes Verarbeiten der reflektierten Ultraschallsignale mit einem neuronalen Netzwerk, NN, (300), - wobei das neuronale Netzwerk zumindest eine Eingangsschicht und eine Ausgangsschicht aufweist, - wobei die Eingangsschicht zumindest ein Eingangsneuron mit einem ersten Schwellwert aufweist, - wobei die Ausgangsschicht zumindest ein Ausgangsneuron mit einem zweiten Schwellwert aufweist, - wobei der erste und der zweite Schwellwert derart ausgebildet sind, dass das zumindest eine Eingangsneuron und das zumindest eine Ausgangsneuron bei Überschreiten des jeweiligen Schwellwerts aktiviert werden und ein Signal ausgeben, - wobei das zumindest eine Eingangsneuron der Eingangsschicht bei Überschreiten des ersten Schwellwerts zumindest ein Signal ausgibt, welches zumindest mittelbar an das zumindest eine Ausgangsneuron der Ausgangsschicht weitergeleitet wird, - wobei die Eingangsneuronen und die Ausgangsneuronen derart zusammenwirken, dass die Ausgangsneuronen zur Mustererkennung zumindest ein Signal entsprechend einer Änderung des Ultraschallsignals ausgeben; und - Verarbeiten des erkannten Musters durch eine Steuereinheit des Fahrzeugs.Method for pattern recognition by means of ultrasonic signals for a vehicle, comprising the following steps: - Emitting, by a transmitting unit (2a), of ultrasonic signals onto a target region with at least one object (100); - Receiving, by a receiving unit (2b), reflected ultrasonic signals (200), the reflected ultrasonic signals being reflected from the at least one object in the target region; - Pattern-recognizing processing of the reflected ultrasonic signals with a neural network, NN, (300), - wherein the neural network has at least one input layer and one output layer, - wherein the input layer has at least one input neuron with a first threshold value, - wherein the output layer has at least one output neuron with a second threshold value, - wherein the first and the second threshold value are designed such that the at least one input neuron and the at least one output neuron are activated when the respective threshold value is exceeded and output a signal, - the at least one input neuron of the input layer outputting at least one signal when the first threshold value is exceeded, which signal is at least indirectly forwarded to the at least one output neuron of the output layer, wherein the input neurons and the output neurons cooperate in such a way that the output neurons for pattern recognition output at least one signal corresponding to a change in the ultrasonic signal; and Processing of the recognized pattern by a control unit of the vehicle. Verfahren nach Anspruch 1, wobei die Sendeeinheit (2a) und/oder die Empfangseinheit (2b) beweglich angeordnet und/oder ausgebildet sind.Procedure according to Claim 1 , the transmitting unit (2a) and / or the receiving unit (2b) being arranged and / or designed to be movable. Verfahren nach Anspruch 1 oder 2, wobei zumindest die Empfangseinheit (2b), und insbesondere die Sendeeinheit (2a), Teil eines eventbasierten Umfelderfassungssensors sind.Procedure according to Claim 1 or 2 , wherein at least the receiving unit (2b), and in particular the transmitting unit (2a), are part of an event-based environment detection sensor. Verfahren nach einem der vorgehenden Ansprüche, wobei das neuronale Netzwerk ein Spiking Neural Network, SNN, ist.Method according to one of the preceding claims, wherein the neural network is a Spiking Neural Network, SNN. Verfahren nach einem der vorgehenden Ansprüche, wobei der Schwellwert der Eingangsneuronen und/oder Ausgangsneuronen auf einen spezifischen Wert einer Signalkodierung und/oder oder einer Signalübertragungsrate ausgebildet ist.Method according to one of the preceding claims, wherein the threshold value of the input neurons and / or output neurons is designed for a specific value of a signal coding and / or a signal transmission rate. Verfahren nach einem der vorgehenden Ansprüche, wobei der erste Schwellwert der Eingangsneuronen und/oder der zweite Schwellwert der Ausgangsneuronen derart ausgebildet ist, dass das Muster basierend auf zumindest einer Messung von der zumindest einen Empfangseinheit (2b) unabhängig von einer vorhergehenden Messung der Empfangseinheit (2b) bestimmbar ist.Method according to one of the preceding claims, wherein the first threshold value of the input neurons and / or the second threshold value of the output neurons is designed such that the pattern is based on at least one measurement by the at least one receiving unit (2b) independently of a previous measurement of the receiving unit (2b) can be determined. Computerprogramm zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 6.Computer program for carrying out the method according to one of the preceding Claims 1 to 6 . Computerlesbares Speichermedium zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche 1 bis 6.Computer-readable storage medium for performing the method according to one of the preceding Claims 1 to 6 . System (1), aufweisend Mittel zum Ausführen des Verfahrens nach einem der vorgehenden Ansprüche 1 bis 6.System (1), comprising means for carrying out the method according to one of the preceding Claims 1 to 6 . Fahrzeug mit einem System (1) nach Anspruch 9.Vehicle with a system (1) according to Claim 9 . Signal erzeugt durch Schritte des Verfahrens nach einem der vorgehenden Ansprüche 1 bis 6.Signal generated by steps of the method according to one of the preceding Claims 1 to 6 .
DE102019120651.0A 2019-07-31 2019-07-31 Pattern recognition using ultrasonic signals for autonomous driving Pending DE102019120651A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019120651.0A DE102019120651A1 (en) 2019-07-31 2019-07-31 Pattern recognition using ultrasonic signals for autonomous driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019120651.0A DE102019120651A1 (en) 2019-07-31 2019-07-31 Pattern recognition using ultrasonic signals for autonomous driving

Publications (1)

Publication Number Publication Date
DE102019120651A1 true DE102019120651A1 (en) 2021-02-04

Family

ID=74165693

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019120651.0A Pending DE102019120651A1 (en) 2019-07-31 2019-07-31 Pattern recognition using ultrasonic signals for autonomous driving

Country Status (1)

Country Link
DE (1) DE102019120651A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108453A1 (en) 2022-04-07 2023-10-12 Elmos Semiconductor Se Method and device for examining the surroundings of a vehicle using ultrasound signals

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215720A1 (en) * 2010-08-25 2013-08-22 Fachhochschule Frankfurt am Main Device and method for the detection of persons

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215720A1 (en) * 2010-08-25 2013-08-22 Fachhochschule Frankfurt am Main Device and method for the detection of persons

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CAO, Z., Cheng, L., Zhou, C., Gu, N., Wang, X., Tan, M.: Spiking neural network-based target tracking control for autonomous mobile robots. In: Neural Computing and Applications, 2015 (Date of Publication: 24.02.2015), 26. Jg., Nr. 8, S. 1839-1847. doi: 10.1007/s00521-015-1848-5 (URL: https://link.springer.com/content/pdf/10.1007/s00521-015-1848-5.pdf) *
WANG, X., Hou, Z. G., Zou, A., Tan, M., Cheng, L.: A behavior controller based on spiking neural networks for mobile robots. In: Neurocomputing, 2008 (Date of Publication: 09.10.2007), 71. Jg., Nr. 4-6, S. 655-666. doi: 10.1016/j.neucom.2007.08.025 (URL: https://doi.org/10.1016/j.neucom.2007.08.025) *
WANG, X., Hou, Z.G., Tan, M., Wang, Y., Wang, X.: Corridor-scene classification for mobile robot using spiking neurons. In: 2008 Fourth International Conference on Natural Computation. IEEE, 2008 (Date of Conference: 18. – 20. Oktober 2008; Date of Publication: 07.11.2008). S. 125-129. doi: 10.1109/ICNC.2008.718 (URL: https://ieeexplore.ieee.org/iel5/4666791/4667228/04667262.pdf) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022108453A1 (en) 2022-04-07 2023-10-12 Elmos Semiconductor Se Method and device for examining the surroundings of a vehicle using ultrasound signals

Similar Documents

Publication Publication Date Title
DE102018200724A1 (en) Method and device for improving the robustness against "Adversarial Examples"
WO2019068291A1 (en) Testing a neural network
DE102017116017A1 (en) An automotive sensor device having a plurality of sensor units and a plurality of neural networks for generating a combined representation of an environment
WO2005048195A2 (en) Method for the analysis of correspondences in image data sets
DE102017213247A1 (en) Knowledge transfer between different deep-learning architectures
EP1836681A1 (en) Method for determining the displacement of a vehicle
WO2018202552A1 (en) Method and device for classifying objects in the environment of a motor vehicle
WO2018007171A1 (en) Method for the improved detection of objects by a driver assistance system
AT521647B1 (en) Method and system for data processing, for training an artificial neural network and for analyzing sensor data
DE102018121866A1 (en) Method for depth estimation of two-dimensional sensor data
DE102019120651A1 (en) Pattern recognition using ultrasonic signals for autonomous driving
DE102021207505A1 (en) Method for training a deep neural network
DE102004029825A1 (en) Method and device for detecting fatigue in the driver of a vehicle
WO2018046189A1 (en) Method and device for operating a first vehicle
EP3786853A1 (en) Compression of a deep neural network
EP3576013A1 (en) Estimation of a path of a rail path
EP3701428B1 (en) Method and apparatus for improving the robustness of a machine learning system
DE102020208309A1 (en) Method and device for creating a machine learning system
DE102021204040A1 (en) Method, device and computer program for creating training data in the vehicle
DE102020209979A1 (en) Method and device for recognizing an object from input data
WO2021063572A1 (en) Device and method for processing data from a neural network
WO2020233961A1 (en) Method for assessing a function-specific robustness of a neural network
DE102021208349B3 (en) Method and sensor system for merging sensor data and vehicle with a sensor system for merging sensor data
DE102019203772A1 (en) Control unit, device and method for assessing a cross wind for a vehicle
WO2022194679A1 (en) Semantic image segmentation of an image data stream

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000