DE102018202903A1 - Method for evaluating measurement data of a radar measurement system using a neural network - Google Patents

Method for evaluating measurement data of a radar measurement system using a neural network Download PDF

Info

Publication number
DE102018202903A1
DE102018202903A1 DE102018202903.2A DE102018202903A DE102018202903A1 DE 102018202903 A1 DE102018202903 A1 DE 102018202903A1 DE 102018202903 A DE102018202903 A DE 102018202903A DE 102018202903 A1 DE102018202903 A1 DE 102018202903A1
Authority
DE
Germany
Prior art keywords
data
neural network
radar
measurement data
measuring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018202903.2A
Other languages
German (de)
Inventor
Jochen ABHAU
Benjamin Sick
Martin Hermann Hahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102018202903.2A priority Critical patent/DE102018202903A1/en
Publication of DE102018202903A1 publication Critical patent/DE102018202903A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing

Abstract

Verfahren zur Auswertung von Messdaten eines RADAR Messsystems (10) mithilfe eines neuronalen Netzwerks, wobei das RADAR Messsystem (10) zumindest eine Sendeantenne (12) und zumindest eine Empfangsantenne (14) aufweist, wobei die Sendeantenne (12) Radarwellen (16) aussenden und die Empfangsantenne (14) an einem Objekt (18) reflektierte Radarwelle empfängt und die Messdaten bereitstellt, wobei Eingangsdaten, die auf den Messdaten basieren, dem neuronalen Netzwerk zur Verarbeitung zugeführt werden, wobei das neuronale Netzwerk zumindest den Abstand und / oder die Geschwindigkeit und / oder den Objekttyp des Objekts als Ergebnis ausgibt, wobei die Messdaten des RADAR Messsystems als Eingangsdaten verwendet werden.
Des Weiteren sind Abwandlungen dieses Verfahrens erläutert.

Figure DE102018202903A1_0000
Method for evaluating measured data of a RADAR measuring system (10) using a neural network, wherein the RADAR measuring system (10) has at least one transmitting antenna (12) and at least one receiving antenna (14), the transmitting antenna (12) emitting radar waves (16) and the receiving antenna (14) receives radar wave reflected at an object (18) and provides the measurement data, wherein input data based on the measurement data is supplied to the neural network for processing, the neural network at least the distance and / or the speed and / or outputs the object type of the object as a result, using the measurement data of the RADAR measurement system as input data.
Furthermore, modifications of this method are explained.
Figure DE102018202903A1_0000

Description

Die Erfindung betrifft mehrere Verfahren zur Auswertung von Messdaten eines RADAR Messsystems mithilfe eines neuronalen Netzwerks.The invention relates to a plurality of methods for evaluating measurement data of a RADAR measurement system using a neural network.

Die US 2016 / 0019 458 A1 beschreibt ein Verfahren Auswertung der Objektklasse aus Messdaten eines Synthetic Aperture Radars (SAR). Aus den Messdaten des SAR werden dafür zunächst SAR Bilder bereitgestellt, die sodann normalisiert werden. Diese normalisierten Messdaten werden anschließend einem trainierten neuronalen Netzwerk zur Auswertung zugeführt, welches sodann die Objektklasse eines Objekts erkennt.The US 2016/0019 458 A1 describes a method evaluation of the object class from measured data of a Synthetic Aperture Radar (SAR). From the measured data of the SAR, SAR images are first provided for this, which are then normalized. These normalized measurement data are then fed to a trained neural network for evaluation, which then recognizes the object class of an object.

Es ist daher Aufgabe die Messdaten eines RADAR Messsystems auf möglichst einfache Art und Weise auszuwerten und möglichst viele Informationen zu erhalten.It is therefore the task to evaluate the measurement data of a RADAR measurement system in the simplest possible way and to obtain as much information as possible.

Diese Aufgabe wird durch das Verfahren gemäß dem Patentanspruch 1 gelöst.This object is achieved by the method according to claim 1.

Es wird ein Verfahren vorgeschlagen, welches die Messdaten von einem RADAR Messsystem verwendet.A method is proposed which uses the measurement data from a RADAR measurement system.

Das RADAR Messsystem ist insbesondere für ein Kraftfahrzeug geeignet. Beispielsweise handelt es sich um ein Frequency-Modulated Continuous Wave Radar, auch FMCW Radar genannt.The RADAR measuring system is particularly suitable for a motor vehicle. For example, it is a Frequency-Modulated Continuous Wave Radar, also called FMCW radar.

Das RADAR Messsystem weist zumindest eine Sendeantenne und eine Empfangsantenne auf. Mit Vorteil weist das RADAR Messsystem eine Mehrzahl an Sendeantennen und / oder eine Mehrzahl an Empfangsantennen auf. Zwei Antennen gleichen oder verschiedenen Typs sind vorzugsweise horizontal und / oder vertikal versetzt angeordnet, sodass über eine daraus resultierende Phasenverschiebung der Radarwelle der Winkel innerhalb des Sichtfelds des RADAR Messsystems bestimmt werden kann, in dem sich ein Objekt aufhält.The RADAR measuring system has at least one transmitting antenna and one receiving antenna. Advantageously, the RADAR measuring system has a plurality of transmitting antennas and / or a plurality of receiving antennas. Two antennas of the same or different type are preferably arranged horizontally and / or vertically offset, so that a resulting phase shift of the radar wave, the angle can be determined within the field of view of the RADAR measuring system in which an object resides.

Das RADAR Messsystem sendet über eine Sendeantenne eine Radarwelle aus. Diese Radarwelle wird an einem Objekt innerhalb des Sichtbereichs des RADAR Messsystems reflektiert. Die reflektierte Radarwelle wird durch eine Empfangsantenne detektiert und als Messwert oder Messsignal bereitgestellt. Dieser Messwert stellt einen durch die Empfangsantenne ermittelten Rohwert dar.The RADAR measuring system sends out a radar wave via a transmitting antenna. This radar wave is reflected by an object within the field of view of the RADAR measuring system. The reflected radar wave is detected by a receiving antenna and provided as a measured value or measurement signal. This measured value represents a raw value determined by the receiving antenna.

Da üblicherweise eine Mehrzahl an Empfangsantennen verwendet wird, wird durch jede Empfangsantenne ein Messwert dargestellt. Gemäß dem FMCW Verfahren werden im Normalfall mehrere frequenzmodulierte Radarwellen nacheinander ausgesendet, beispielsweise 256 Radarwellen.Since a plurality of receiving antennas are usually used, a measured value is represented by each receiving antenna. According to the FMCW method, a plurality of frequency-modulated radar waves are transmitted in succession in succession, for example 256 radar waves.

Die Summe der Messwerte steht in Form von Messdaten zur weiteren Verarbeitung bereit. Diese Messdaten werden üblicherweise durch die Anwendung zweier Fourier Transformationen weiterverarbeitet. Daraus ergibt sich für jedes Paar aus Sendeantenne und Empfangsantenne eine Vielzahl an Range-Doppler-Maps. Diese Range-Doppler-Maps werden mithilfe eines Beamforming Verfahrens weiterverarbeitet, um eine mehrdimensionale Range-Doppler-Map bereitzustellen, welche die Position und Geschwindigkeit der der Objekte über den Raumwinkel auflöst. Diese multidimensionale Range-Doppler-Map wird sodann weiter analysiert. Dabei werden die Maxima der Range-Doppler-Map ermittelt, beispielsweise mit dem Constant False Alarm Rate Algorithmus, CFAR. Durch die Analyse der Bewegung der Maxima über mehrere Zeitpunkte wird sodann auf das zugehörige Objekt geschlossen und dieses entsprechend klassifiziert.The sum of the measured values is available in the form of measurement data for further processing. These measurement data are usually further processed by the application of two Fourier transforms. This results in a variety of range Doppler maps for each pair of transmit antenna and receive antenna. These range Doppler maps are further processed using a beamforming process to provide a multi-dimensional range Doppler map that resolves the position and velocity of the objects through the solid angle. This multidimensional range Doppler map is then further analyzed. The maxima of the range Doppler map are determined, for example with the Constant False Alarm Rate Algorithm, CFAR. By analyzing the movement of the maxima over several points in time, the corresponding object is then closed and classified accordingly.

Hierfür wird einerseits viel Rechenleistung benötigt, andererseits gehen Informationen verloren. Der Verlust von Informationen ist unter anderem dem CFAR-Algorithmus zuzurechnen, der schwache Reflektionen, welche in der Range-Doppler-Map unterhalb eines bestimmten Schwellwerts liegen, ignoriert.On the one hand, this requires a lot of computing power, on the other hand information is lost. Among other things, loss of information is attributable to the CFAR algorithm, which ignores weak reflections that are below a certain threshold in the range Doppler map.

Für die Auswertung der Messdaten wird als Alternative ein neuronales Netzwerk vorgeschlagen. Solche neuronale Netzwerke sind bereits seit längerem bekannt.For the evaluation of the measurement data, a neural network is proposed as an alternative. Such neural networks have been known for some time.

In ein solches neuronales Netzwerk werden Eingangsdaten eingegeben. Das neuronale Netzwerk stellt sodann ein Ergebnis bereit, welches zumindest eine der Größen aus Abstand, Geschwindigkeit oder den Objekttyp des Objekts bereitstellt. Es wird vorgeschlagen, dass mehrere dieser Größen, vorzugsweise alle durch das Neuronale Netzwerk ausgegeben werden. Insbesondere wird vorgeschlagen, dass das Neuronale Netzwerk eine Punktewolke bereitstellt, welche die einzelnen Objekte und deren Position und Geschwindigkeit im Sichtbereich des Messsystems bereitstellt. Die Punktewolke wird auf klassische Weise aus den Range-Doppler-Maps erstellt. Neben den erwähnten Größen können auch noch weitere Größen ausgegeben werden, wie beispielsweise die Richtung des Objekts. Das Ergebnis des neuronalen Netzwerks ist hierfür zumindest gleichwertig zu der zuvor ausgeführten mathematischen Alternative.Input data is input to such a neural network. The neural network then provides a result that provides at least one of the distance, velocity, or object type of the object. It is suggested that several of these quantities, preferably all, be output by the neural network. In particular, it is proposed that the neural network provide a point cloud which provides the individual objects and their position and speed in the field of view of the measuring system. The point cloud is created in the classical way from the range Doppler maps. In addition to the sizes mentioned, other sizes can also be output, such as the direction of the object. The result of the neural network is at least equivalent to the previously performed mathematical alternative.

Als Eingabedaten werden dem neuronalen Netzwerk die Messdaten des RADAR Messsystems zugeführt. Da die Messdaten die Rohdaten darstellen, werden dem neuronalen Netzwerk alle Informationen in deren Gesamtheit bereitgestellt. Dies ist insbesondere Vorteilhaft gegenüber dem zuvor erläuterten Verfahren, bei dem von mathematischem Schritt zu mathematischem Schritt Informationen verloren gehen. Insbesondere der CFAR-Algorithmus vernachlässigt schwache Reflektionen. Diese schwachen Reflektionen können aber bei der Klassifikation der Objekten in verschiede Objektklassen von besonderer Bedeutung sein. Das neuronale Netzwerk berücksichtigt dementsprechend auch schwache Reflektionen, sodass das neuronale Netzwerk im Vergleich mit der konventionellen Methode in einer vergleichbaren Situation mehr Objekte erkennt, klassifiziert und auch deren Geschwindigkeit und Position bestimmt.The measured data of the RADAR measuring system are fed to the neural network as input data. Since the measurement data represents the raw data, the neural network is provided with all the information in its entirety. This is particularly advantageous over the previously explained method, in which from mathematical step to mathematical step information get lost. In particular, the CFAR algorithm neglects weak reflections. However, these weak reflections can be of particular importance in the classification of objects in different object classes. Accordingly, the neural network also takes into account weak reflections, so that the neural network recognizes, classifies and also determines its speed and position in a comparable situation in comparison with the conventional method.

Ein solches neuronales Netzwerk muss vor der Verwendung zunächst trainiert werden. Dadurch werden die Verknüpungen zwischen den Eingangsdaten sowie den Ausgangsdaten geschaffen. Je detaillierter und besser dieses Training durchgeführt wird, umso mehr Objekte kann das neuronale Netzwerk unterscheiden und deren Geschwindigkeit und Abstand genauer bestimmen.Such a neural network must first be trained before use. This creates the links between the input data and the output data. The more detailed and better this training is performed, the more objects the neuronal network can distinguish and more accurately determine their speed and distance.

Vorzugsweise werden dem neuronalen Netzwerk die Messdaten, also die Rohdaten der RADAR Messsystems, zugeführt. Es können ausschließlich die Messdaten als Eingangsdaten verwendet werden oder zusätzlich zu den Messdaten werden dem neuronale Netzwerk noch weitere Informationen oder Daten zugeführt. Dies kann beispielsweise die Eigenbewegung und des RADAR Messsystems sein. Solche Informationen werden insbesondere dann verwendet, wenn das RADAR Messsystem mobil ist, also beispielsweise an einem Kraftfahrzeug befestigt oder ausgebildet ist. Insbesondere können dem neuronalen Netzwerk noch weitere Informationen zugeführt werden, die das Ergebnis des neuronalen Netzwerks verbessern, wie beispielsweise eine Mittlere Empfangsleistung.The measurement data, that is to say the raw data of the RADAR measuring system, are preferably supplied to the neural network. Only the measured data can be used as input data or, in addition to the measured data, further information or data is supplied to the neural network. This can be, for example, the proper motion and the RADAR measuring system. Such information is used in particular when the RADAR measuring system is mobile, that is, for example, fastened or formed on a motor vehicle. In particular, further information can be supplied to the neural network, which improve the result of the neural network, such as a mean reception power.

Somit bietet das Verfahren den Vorteil, dass schwache Ziele, die unterhalb des Schwellwerts für den CFAR-Algorithmus liegen, berücksichtigt werden. Sofern das neuronale Netzwerk gut trainiert ist, stellt das Ergebnis des neuronalen Netzwerks bessere Daten bereit als das konventionelle Verfahren.Thus, the method offers the advantage of considering weak targets that are below the threshold for the CFAR algorithm. If the neural network is well trained, the result of the neural network provides better data than the conventional method.

Die vorige Aufgabe wird zudem durch das Verfahren gemäß dem unabhängigen Patentanspruch 2 gelöst.The previous object is also achieved by the method according to independent claim 2.

Die vorigen Ausführungen gelten ebenso für dieses Verfahren. Die Unterschiede in Bezug auf die vorigen Ausführungen werden im Folgenden erläutert.The previous explanations also apply to this method. The differences with respect to the previous embodiments are explained below.

Anstatt die Rohdaten der Empfangsantennen als Eingangsdaten zu verwenden, werden die Messdaten Fourier transformiert. Die Fourier Transformation entspricht dem bekannten Verfahren. Durch zwei Fourier Transformationen wird eine Mehrzahl an Range-Doppler-Maps bestimmt. Bei dem bevorzugten FMCW Radar wird pro ausgesendeter Radarwelle für jedes Antennenpaar eine Range-Doppler-Map bereitgestellt.Instead of using the raw data of the receiving antennas as input data, the measured data Fourier are transformed. The Fourier transformation corresponds to the known method. Two Fourier transforms are used to determine a plurality of range Doppler maps. In the preferred FMCW radar, a range Doppler map is provided for each radar wave emitted for each pair of antennas.

Die Fourier transformierten Messdaten, also die Range-Doppler-Maps werden dem neuronalen Netzwerk als Eingangsdaten zur weiteren Verarbeitung zugeführt. Das Ergebnis des neuronalen Netzwerks kann die zuvor erläuterten Größen umfassen. Insbesondere gehen durch die Fourier Transformation keine Informationen verloren. Die Ergebnisse der Neuronalen Netzwerke der beiden Verfahren sind identisch. The Fourier transformed measurement data, ie the range Doppler maps are fed to the neural network as input data for further processing. The result of the neural network may include the quantities explained above. In particular, no information is lost through the Fourier transformation. The results of the neural networks of the two methods are identical.

Durch das durchführen der Fourier Transformation werden dem neuronalen Netzwerk strukturiertere Daten zugeführt. Aufgrund dessen ist der Aufwand für ein Training des neuronalen Netzwerks bei vergleichbaren Ergebnissen geringer.By performing the Fourier transformation, more structured data is supplied to the neural network. Because of this, the cost of training the neural network is lower for comparable results.

Dem neuronalen Netzwerk werden besonders bevorzugt ausschließlich die Fourier transformierten Messdaten zugeführt. Alternativ können dem neuronalen Netzwerk zusätzlich zu den Fourier transformierten Messdaten noch weitere Daten zugeführt werden. Dies können dieselben Daten sein, wie bereits zuvor erläutert.The neural network is preferably fed exclusively with the Fourier transformed measurement data. Alternatively, further data may be supplied to the neural network in addition to the Fourier transformed measurement data. This can be the same data as explained earlier.

Die Eingangs formuliert Aufgabe wird auch durch ein Verfahren gemäß dem Anspruch 3 gelöst.The input formulated object is also achieved by a method according to claim 3.

Auch für dieses Verfahren gelten die vorigen Ausführungen. Die Unterschiede zu den vorigen Verfahren werden im Weiteren erläutert.Also for this method, the previous statements apply. The differences from the previous methods are explained below.

Bei diesem Verfahren werden als Eingangsdaten weder die Messdaten, noch die Fourier transformierten Messdaten verwendet. Stattdessen werden die Fourier transformierten Messdaten einer Maxima Analyse unterzogen, beispielsweise durch den CFAR-Algorithmus. Der CFAR-Algorithmus stellt Auswertedaten bereit. Diese Auswertedaten werden sodann dem neuronalen Netzwerk als Eingangsdaten bereitgestellt.In this method, neither the measured data nor the Fourier transformed measured data are used as input data. Instead, the Fourier transformed measurement data is subjected to a maxima analysis, for example by the CFAR algorithm. The CFAR algorithm provides analysis data. These evaluation data are then provided to the neural network as input data.

Wie auch zu den anderen vorgestellten Verfahren, können dem neuronalen Netzwerk ausschließlich die Auswertedaten oder auch weitere Daten zugeführt werden.As with the other methods presented, only the evaluation data or other data can be supplied to the neural network.

Ein Nachteil dieses Verfahrens ist, dass durch den CFAR-Algorithmus Informationen der Rohdaten verloren gehen, die dem neuronalen Netzwerk nicht zur Verfügung stehen. Von daher werden die beiden Verfahren nach der Variante 1 und 2 gegenüber dem Verfahren nach der Variante 3 bevorzugt. Dennoch handelt es sich hierbei um eine vorteilhafte Methode zur Klassifizierung der einzelnen Objekte.A disadvantage of this method is that the CFAR algorithm loses information of the raw data that is not available to the neural network. Therefore, the two methods according to the variant 1 and 2 compared to the method according to the variant 3 prefers. Nevertheless, this is an advantageous method for classifying the individual objects.

Dieser Informationsverlust kann jedoch in Kauf genommen werden, um die Informationstiefe der Eingangsdaten zu begrenzen. Beispielsweise kann durch den Schwellwert die Intensität der Reflektionen definiert werden, welche gerade noch für die Auswertung durch das neuronale Netzwerk vorgesehen sind. However, this loss of information can be accepted in order to limit the depth of information of the input data. By way of example, the threshold value can be used to define the intensity of the reflections which are just yet provided for evaluation by the neural network.

Der Schwellwert kann beispielsweise zwischen 2 % bis 50% über dem Rauschgrund liegen.The threshold may be, for example, between 2% to 50% above the noise floor.

Außerdem wird die Aufgabe auch durch ein Verfahren nach dem Patentanspruch 4 gelöst.In addition, the object is also achieved by a method according to claim 4.

Als Eingangsdaten werden weder die Messdaten, noch die Fourier transformierten Messdaten verwendet, noch die Auswertedaten des CFAR-Algorithmus herangezogen. Stattdessen werden die Fourier transformierten Messdaten einem Beamforming-Verfahren unterzogen. Daraus ergibt sich eine Punktewolke innerhalb einer multidimensionalen Range-Doppler-Map. Diese Beamforming Daten, die sich aus dieser Mehrzahl an Schritten ergeben, werden sodann dem neuronalen Netzwerk als Eingangsdaten zugeführt.The input data is neither the measured data nor the Fourier transformed measured data, nor the evaluation data of the CFAR algorithm. Instead, the Fourier transformed measurement data are subjected to a beamforming process. This results in a point cloud within a multidimensional range Doppler map. These beamforming data resulting from this plurality of steps are then fed to the neural network as input data.

Das neuronale Netzwerk assoziiert hiermit noch die einzelnen Datenpunkte innerhalb der Range-Doppler-Map als Objekt und klassifiziert dieses.The neural network hereby still associates the individual data points within the range Doppler map as an object and classifies it.

In einer Ausführungsvariante können die Fourier transformierten Messdaten der zuvor erläuterten Maximaanalyse unterzogen werden, sodass für das Beamforming Verfahren die Auswertedaten verwendet werden. Hierdurch kann die Informationsdichte der Eingangsdaten für das neuronale Netzwerk begrenzt werden. Die vorigen Ausführungen gelten sinngemäß.In an embodiment variant, the Fourier transformed measured data can be subjected to the maxima analysis explained above, so that the evaluation data are used for the beamforming method. As a result, the information density of the input data for the neural network can be limited. The previous statements apply mutatis mutandis.

Des Weiteren wird ein RADAR Messsystem vorgeschlagen, welches ein Verfahren nach einem der Patentansprüche 1 bis 5 oder ein Verfahren nach einem der vorigen Ausführungen ausführt.Furthermore, a RADAR measuring system is proposed, which carries out a method according to one of the claims 1 to 5 or a method according to one of the preceding embodiments.

Die Verfahren und das RADAR Messsystem werden im Weiteren detailliert und beispielhaft anhand von zwei Figuren beschrieben. Es zeigen:

  • 1 ein RADAR Messsystem;
  • 2 ein Ablaufschema für das Verfahren.
The methods and the RADAR measuring system are described in detail below and by way of example with reference to two figures. Show it:
  • 1 a RADAR measuring system;
  • 2 a flow chart for the procedure.

In der 1 ist ein Radar Messsystem 10 dargestellt. Das RADAR Messsystem 10 ist als mobiles RADAR Messsystem 10 ausgebildet, welches an einem Kraftfahrzeug ausgebildet ist. Das RADAR Messsystem 10 umfasst eine Sendeantenne 12 sowie eine Empfangsantenne 14. Hierbei ist der Einfachheit halber lediglich eine Sendeantenne 12 und eine Empfangsantenne 14 dargestellt, ein solches RADAR Messsystem 10 weist aber üblicherweise eine Mehrzahl an Sendeantennen 12 und Empfangsantennen 14 auf. Die Antennen 12 und 14 sind dabei mit Vorteil zueinander horizontal und / oder vertikal versetzt angeordnet. Die verschiedenen Antennenpaare können verschiedene Versätze aufweisen.In the 1 is a radar measuring system 10 shown. The RADAR measuring system 10 is a mobile RADAR measuring system 10 formed, which is formed on a motor vehicle. The RADAR measuring system 10 includes a transmitting antenna 12 and a receiving antenna 14 , Here, for the sake of simplicity, only a transmitting antenna 12 and a receiving antenna 14 represented, such a RADAR measuring system 10 but usually has a plurality of transmitting antennas 12 and receiving antennas 14 on. The antennas 12 and 14 are arranged with advantage to each other horizontally and / or vertically offset. The different antenna pairs may have different offsets.

Die Sendeantenne 12 sendet während des Betriebs eine Radarwelle 16 aus. Sofern sich ein Objekt 18 innerhalb des Sichtbereichs des RADAR Messsystems 10 aufhält, wird die Radarwelle 16 an diesem reflektiert. Die reflektierte Radarwelle kann sodann auf die Empfangsantenne 14 treffen, die die reflektierte Radarwelle detektiert und entsprechend Rohdaten bereitstellt. Die Radarwelle 16 ist in der 1 in vereinfachter Darstellung als Linie gezeichnet, die den Weg der Reflektion verdeutlichen soll.The transmitting antenna 12 sends a radar wave during operation 16 out. Provided an object 18 within the field of view of the RADAR measuring system 10 stops, the radar wave 16 reflected on this. The reflected radar wave can then be transmitted to the receiving antenna 14 meet, which detects the reflected radar wave and correspondingly provides raw data. The radar wave 16 is in the 1 drawn in a simplified representation as a line to illustrate the path of reflection.

Vorzugsweise arbeitet das RADAR Messsystem 10 als Dauerstrichradar, günstigerweise als FMCW. Hierbei wird durch jede Sendeantenne 12 eine Mehrzahl an Radarwellen 16 ausgesendet, deren Reflektionen von jeder Empfangsantenne 14 detektiert werden können. Dadurch wird eine große Menge an Rohdaten bereitgestellt. Die Empfangsantenne 14 stellt die Rohdaten als Messdaten bereit.The RADAR measuring system preferably works 10 as continuous wave radar, conveniently as FMCW. This is done by each transmitting antenna 12 a plurality of radar waves 16 emitted, their reflections from each receiving antenna 14 can be detected. This provides a large amount of raw data. The receiving antenna 14 provides the raw data as measurement data.

Diese Messdaten werden ausgewertet, was im Weiteren anhand der 2 beschrieben wird. Das Aussenden und Empfangen der Radarwelle 16 sowie das Bereitstellen der Rohdaten durch die Empfangsantennen 14 stellt in der 2 einen ersten Schritt 20 dar.These measurement data are evaluated, which is further explained below on the basis of 2 is described. The sending and receiving of the radar wave 16 and providing the raw data through the receiving antennas 14 puts in the 2 a first step 20 represents.

Diese Messdaten werden in der ersten Variante des Verfahrens einem neuronalen Netzwerk als Eingangsdaten gemäß einem Schritt 22 zugeführt.These measurement data are in the first variant of the method a neural network as input data according to a step 22 fed.

Diese Eingangsdaten werden sodann von dem neuronalen Netzwerk in dem Schritt 24 verarbeitet.These input data will then be from the neural network in the step 24 processed.

Das neuronale Netzwerk gibt anschließend das Ergebnis aus, siehe Schritt 26. Das Ergebnis kann dabei mehrere Größen umfassen, wie die Position des Objekts, dessen Geschwindigkeit sowie eine Objektklasse.The neural network then outputs the result, see step 26 , The result can include several variables, such as the position of the object, its speed and an object class.

Optional können dem neuronalen Netzwerk neben den Eingangsdaten, welche auf den Messdaten basieren auch noch weitere Daten zugeführt werden. Dies kann in einem Schritt 28, der im Wesentlichen zur gleichen Zeit wie der Schritt 22 stattfindet, die Eigenbewegung des RADAR Messsystems 10 sein.Optionally, in addition to the input data, which are based on the measured data, further data can also be supplied to the neural network. This can be done in one step 28 at the same time as the step 22 takes place, the proper motion of the RADAR measuring system 10 his.

In der 2 ist zudem auch die Variante 2 des Verfahrens dargestellt. Diese umfasst zusätzlich zu den Schritten der Variante 1 den Schritt 21a. Dieser ist in der 2 strichliniert dargestellt. Gemäß dem Schritt 21 werden die nach Schritt 20 bereitgestellten Messdaten nicht als Eingangsdaten verwendet, sondern Fourier Transformiert. Insbesondere werden zwei Fourier Transformationen für jedes Messsignal durchgeführt, um den Abstand und die Radialgeschwindigkeit von dem RADAR Messsystem zu bestimmen. Dies wird grafisch zumeist als Range- Doppler-Map dargestellt.In the 2 is also the variant 2 of the method. This includes in addition to the steps of the variant 1 the step 21a , This one is in the 2 shown in dashed lines. According to the step 21 become the after step 20 provided measurement data is not used as input data, but Fourier Transformed. In particular, two Fourier transforms are performed for each measurement signal to determine the distance and radial velocity from the RADAR measurement system. This is graphically represented mostly as a range Doppler map.

Demnach werden anstelle der Messdaten in Rohform die Fourier Transformierten Messdaten als Eingangsdaten in Schritt 22 bereitgestellt. Das Verfahren verläuft entsprechend dem strichlinierten Pfad von Schritt 20 nach Schritt 22.Thus, instead of the measurement data in raw form, the Fourier transformed measurement data is input as the input data in step 22 provided. The process proceeds according to the dashed path of step 20 after step 22 ,

In einer dritten Variante werden die Fourier Transformierten Messdaten zusätzlich einer Maxima Analyse unterzogen, beispielsweise mithilfe des CFAR-Algorithmus, siehe Schritt 21b. Diese Dritte Variante umfasst die Schritte der Variante 1 und 2. Die Maxima Analyse stellt sodann die Auswertedaten bereit, welche gemäß Schritt 22 als Eingangsdaten bereitgestellt werden. Demensprechend folgt das Verfahren zunächst dem strichlinierten Pfad und anschließend dem strichpunktlinierten Pfad.In a third variant, the Fourier transformed measurement data are additionally subjected to a maxima analysis, for example using the CFAR algorithm, see step 21b , This third variant includes the steps of the variant 1 and 2 , The maxima analysis then provides the evaluation data, which according to step 22 be provided as input data. Accordingly, the method first follows the dashed path and then the dash-dot path.

In der vierten Variante wird zusätzlich noch ein Beamforming Verfahren gemäß Schritt 21c durchgeführt, wobei diese Daten dann als Eingangsdaten für das neuronale Netzwerk bereitgestellt werden. Gemäß der vierten Variante ist der Schritt 21b optional. In einer alternativen Variante kann die Maximaanalyse auch anschließend zu dem Beamforming Verfahren und vor der Bereitstellung er Daten als Eingangsdaten gemäß Schritt 22 ausgeführt werden.In the fourth variant, in addition, a beamforming method according to step 21c then this data is then provided as input to the neural network. According to the fourth variant is the step 21b optional. In an alternative variant, the maxima analysis can also be used subsequently to the beamforming method and before the provision of the data as input data according to step 22 be executed.

Das RADAR Messsystem 10 ist üblicherweise für ein Kraftfahrzeug vorgesehen und kann somit auch als mobiles oder bewegliches RADAR Messsystem 10 bezeichnet werden. Durch das neuronale Netzwerk werden somit aus den Messdaten vorzugsweise Objekte erkannt und deren Position und Geschwindigkeit gegenüber dem Kraftfahrzeug bestimmt. Zudem werden die Objekte günstigerweise klassifiziert, sodass ein Unterscheidung der Objekte durchgeführt werden kann. Beispiele hierfür sind Personen, Kraftfahrzeuge, wie Motorräder, PKWs oder LKWs, sowie auch Fahrräder oder statische Objekte, wie Leitplanken, Schilder oder Ampeln.The RADAR measuring system 10 is usually intended for a motor vehicle and can therefore also be used as a mobile or mobile RADAR measuring system 10 be designated. The neural network thus preferably recognizes objects from the measured data and determines their position and speed with respect to the motor vehicle. In addition, the objects are conveniently classified, so that a distinction of the objects can be performed. Examples include persons, motor vehicles, such as motorcycles, cars or trucks, as well as bicycles or static objects, such as crash barriers, signs or traffic lights.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010
RADAR MesssystemRADAR measuring system
1212
Sendeantennetransmitting antenna
1414
Empfangsantennereceiving antenna
1616
Radarwelleradar wave
1818
Objektobject
2020
Schrittstep
21a21a
Schrittstep
21b21b
Schrittstep
21c21c
Schrittstep
2222
Schrittstep
2424
Schrittstep
2626
Schrittstep
2828
Schrittstep

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 20160019458 A1 [0002]US 20160019458 A1 [0002]

Claims (6)

Verfahren zur Auswertung von Messdaten eines RADAR Messsystems (10) mithilfe eines neuronalen Netzwerks, - wobei das RADAR Messsystem (10) zumindest eine Sendeantenne (12) und zumindest eine Empfangsantenne (14) aufweist, wobei die Sendeantenne (12) Radarwellen (16) aussenden und die Empfangsantenne (14) an einem Objekt (18) reflektierte Radarwellen empfängt und die Messdaten bereitstellt, - wobei Eingangsdaten, die auf den Messdaten basieren, dem neuronalen Netzwerk zur Verarbeitung zugeführt werden, - wobei das neuronale Netzwerk zumindest den Abstand und / oder die Geschwindigkeit und / oder den Objekttyp des Objekts als Ergebnis ausgibt, dadurch gekennzeichnet, dass die Messdaten des RADAR Messsystems als Eingangsdaten verwendet werden.A method for evaluating measured data of a RADAR measuring system (10) by means of a neural network, - wherein the RADAR measuring system (10) has at least one transmitting antenna (12) and at least one receiving antenna (14), the transmitting antenna (12) emitting radar waves (16) and the receiving antenna (14) receives radar waves reflected at an object (18) and provides the measurement data, - wherein input data based on the measurement data is supplied to the neural network for processing, - the neural network at least the distance and / or the Speed and / or outputs the object type of the object as a result, characterized in that the measurement data of the RADAR measuring system are used as input data. Verfahren nach dem Oberbegriff des Anspruchs 1, dadurch gekennzeichnet, dass die Messdaten Fourier transformiert werden, wobei die Fourier transformierten Messdaten als Eingangsdaten verwendet werden.Method according to the preamble of Claim 1 , characterized in that the measurement data Fourier are transformed, wherein the Fourier transformed measurement data are used as input data. Verfahren nach dem Oberbegriff des Anspruchs 1, dadurch gekennzeichnet, dass die Messdaten Fourier transformiert werden und die Fourier transformierten Messdaten einer Maximaanalyse unterzogen werden, wobei die Auswertedaten der Maximaanalyse als Eingabedaten verwendet wird.Method according to the preamble of Claim 1 , characterized in that the measurement data Fourier are transformed and the Fourier transformed measurement data are subjected to a maximum analysis, wherein the evaluation data of the maximum analysis is used as input data. Verfahren nach dem Oberbegriff des Anspruchs 1, dadurch gekennzeichnet, dass die Messdaten Fourier transformiert werden, wobei sodann ein Beamforming Verfahren durchgeführt wird, wobei die Beamforming Daten sodann dem neuronalen Netzwerk zugeführt werden.Method according to the preamble of Claim 1 , characterized in that the measurement data Fourier are transformed, wherein then a beam-forming method is performed, wherein the beamforming data are then supplied to the neural network. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Fourier transformierten Messdaten vor dem Beamforming Verfahren einer Maximaanalyse unterzogen werden. (nach der Fourier Transformation)Method according to Claim 4 , characterized in that the Fourier transformed measured data are subjected to a maximum analysis before the beamforming method. (after the Fourier transformation) RADAR Messsystem, welches ein Verfahren nach einem der Patentansprüche 1 bis 4 ausführt.RADAR measuring system, which is a method according to one of Claims 1 to 4 performs.
DE102018202903.2A 2018-02-27 2018-02-27 Method for evaluating measurement data of a radar measurement system using a neural network Pending DE102018202903A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018202903.2A DE102018202903A1 (en) 2018-02-27 2018-02-27 Method for evaluating measurement data of a radar measurement system using a neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018202903.2A DE102018202903A1 (en) 2018-02-27 2018-02-27 Method for evaluating measurement data of a radar measurement system using a neural network

Publications (1)

Publication Number Publication Date
DE102018202903A1 true DE102018202903A1 (en) 2019-08-29

Family

ID=67550493

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018202903.2A Pending DE102018202903A1 (en) 2018-02-27 2018-02-27 Method for evaluating measurement data of a radar measurement system using a neural network

Country Status (1)

Country Link
DE (1) DE102018202903A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812633A (en) * 2019-11-27 2020-10-23 谷歌有限责任公司 Detecting reference frame changes in smart device based radar systems
EP4170378A1 (en) * 2021-10-20 2023-04-26 Aptiv Technologies Limited Methods and systems for processing radar sensor data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19649618A1 (en) * 1996-11-29 1998-06-04 Alsthom Cge Alcatel Method and device for automatic classification of objects
US6366236B1 (en) * 1999-08-12 2002-04-02 Automotive Systems Laboratory, Inc. Neural network radar processor
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19649618A1 (en) * 1996-11-29 1998-06-04 Alsthom Cge Alcatel Method and device for automatic classification of objects
US6366236B1 (en) * 1999-08-12 2002-04-02 Automotive Systems Laboratory, Inc. Neural network radar processor
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US20160259037A1 (en) * 2015-03-03 2016-09-08 Nvidia Corporation Radar based user interface

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAPOBIANCO, S. u.a.: Vehicle classification based on convolutional networks applied to FM-CW radar signals. In: Proceedings of 1st European Conference on Traffic Mining Applied to Police Activities 2017, S. 1-13 (arXiv: 1710.05718v3 vom 31.10.2017) *
JOKANOVIC, B. u.a.: Multiple Joint-Variable Domains Recognition of Human Motion. In: IEEE Radar Conference, May 2017, S. 0948-0952 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812633A (en) * 2019-11-27 2020-10-23 谷歌有限责任公司 Detecting reference frame changes in smart device based radar systems
WO2021107958A1 (en) * 2019-11-27 2021-06-03 Google Llc Detecting a frame-of-reference change in a smart-device-based radar system
US11460538B2 (en) 2019-11-27 2022-10-04 Google Llc Detecting a frame-of-reference change in a smart-device-based radar system
EP4286996A3 (en) * 2019-11-27 2024-02-21 Google LLC Detecting a frame-of-reference change in a smart-device-based radar system
CN111812633B (en) * 2019-11-27 2024-03-12 谷歌有限责任公司 Detecting reference system changes in smart device-based radar systems
EP4170378A1 (en) * 2021-10-20 2023-04-26 Aptiv Technologies Limited Methods and systems for processing radar sensor data

Similar Documents

Publication Publication Date Title
EP3175256B1 (en) Method for classifying an object in an area surrounding a motor vehicle, driver assistance system and motor vehicle
EP3485290B1 (en) Method and system for scanning an object
DE102010030289A1 (en) Radar sensor and method for operating a radar sensor
DE102017211432A1 (en) System for detecting a moving object
EP0860712A2 (en) Device and method for environment adaptive object classification
DE102017131114A1 (en) Method and device for determining at least one parameter of an object
DE102012209870A1 (en) DETERMINATION OF A CROSS-REFERENCE INDICATOR FOR AN OBJECT
DE102018111250A1 (en) REPROCESSING THE RADAR SYSTEM FOR SUPPRESSING THE BYPASS
DE102016225494B4 (en) METHOD AND DEVICE FOR DETECTING A TARGET OBJECT
DE102018104243B3 (en) Method and system for detecting parking spaces suitable for a vehicle
DE102013008953A1 (en) Method for operating a radar device of a vehicle, in particular of a motor vehicle, and radar device for a vehicle, in particular a motor vehicle
DE102019200141A1 (en) Method for capturing partial areas of an object
DE102017207442A1 (en) Method and device for classifying objects in the environment of a motor vehicle
DE102019200849A1 (en) Method for detecting movement of an object
DE102012220773A1 (en) Device and method for elevation angle determination in a radar system
DE102018202903A1 (en) Method for evaluating measurement data of a radar measurement system using a neural network
DE10344299B4 (en) Classification of the objects located in an environment of a motor vehicle
EP0845686A2 (en) Device and method for automatic target classification
DE102018106478A1 (en) TARGET TRACKING USING REGIONAL COVENANT
DE19962949A1 (en) Device for scanning radiation-based surface condition detection, in particular of streets
WO2004059341A1 (en) Method for detecting environmental information and for determining the position of a parking space
DE102020206001A1 (en) Method and device for classifying the height of an object detected by ultrasound
DE102014116165A1 (en) Method for detecting an interference in a received signal of a radar sensor of a motor vehicle, computing device, driver assistance system, motor vehicle and computer program product
DE102022206980A1 (en) Method for filtering false echoes in a sensor device comprising several sensors, sensor device, vehicle and computer program
DE102022202524B4 (en) Methods for object classification

Legal Events

Date Code Title Description
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G01S0007295000

Ipc: G01S0007020000

R163 Identified publications notified