DE112022002063T5 - MODULE AND METHOD FOR ASSOCIATION OF OBJECT TRACKING DATA - Google Patents

MODULE AND METHOD FOR ASSOCIATION OF OBJECT TRACKING DATA Download PDF

Info

Publication number
DE112022002063T5
DE112022002063T5 DE112022002063.6T DE112022002063T DE112022002063T5 DE 112022002063 T5 DE112022002063 T5 DE 112022002063T5 DE 112022002063 T DE112022002063 T DE 112022002063T DE 112022002063 T5 DE112022002063 T5 DE 112022002063T5
Authority
DE
Germany
Prior art keywords
path
data set
parameter
object tracking
sensor measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112022002063.6T
Other languages
German (de)
Inventor
Srinivas Yalagam
Muralikrishna SRIDHAR
Tobias Bergen
Bhanu Prakash Padiri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Original Assignee
Continental Autonomous Mobility Germany GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB2109395.0A external-priority patent/GB2608400A/en
Application filed by Continental Autonomous Mobility Germany GmbH filed Critical Continental Autonomous Mobility Germany GmbH
Publication of DE112022002063T5 publication Critical patent/DE112022002063T5/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Ein Objektverfolgungsdatenassoziationsmodul (100), das Folgendes aufweist: eine Pfaddatenabrufeinrichtung (110), die dazu ausgebildet ist, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist; eine Sensormessdatenabrufeinrichtung (112), die dazu ausgebildet ist, mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; und eine Differenzparameterbestimmungseinrichtung (120), die dazu ausgebildet ist, mindestens einen Differenzparameter bereitzustellen, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Differenzparameterbestimmungseinrichtung (120) ein Exponentialfunktionsmodul (122) aufweist, das dazu ausgebildet ist, Berechnungen unter Verwendung einer Exponentialfunktion durchzuführen, und die Differenzparameterbestimmungseinrichtung (120) dazu ausgebildet ist, das Exponentialfunktionsmodul (122) zum Berechnen des mindestens einen Differenzparameters unter Verwendung der Exponentialfunktion zu verwenden.An object tracking data association module (100) comprising: a path data retrieval device (110) configured to provide at least one path data set of at least one path associated with at least one detected object; a sensor measurement data retrieval device (112) configured to provide at least one sensor measurement data set for the at least one path associated with the at least one detected object; and a difference parameter determination device (120) configured to provide at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object; wherein the difference parameter determination device (120) comprises an exponential function module (122) configured to perform calculations using an exponential function, and the difference parameter determination device (120) is configured to use the exponential function module (122) to calculate the at least one difference parameter using the exponential function.

Description

GEBIET DER ERFINDUNGFIELD OF INVENTION

Die Erfindung betrifft ein Objektverfolgungsdatenassoziationsmodul und ein entsprechendes Verfahren zur Assoziation von Objektverfolgungsdaten.The invention relates to an object tracking data association module and a corresponding method for associating object tracking data.

HINTERGRUNDBACKGROUND

Objekterkennung und Objektverfolgung können auf verschiedenen Gebieten vielfältige Anwendung finden, beispielsweise beim Autofahren, genauer gesagt bei Kraftfahrzeugen auf der Straße. Objekterkennung und Objektverfolgung ergänzen sich. Wenngleich Objekterkennung die Erkennung eines Objekts in einem Bild umfassen kann, würde sie keine Informationen über den Bewegungsverlauf des Objekts bereitstellen. Daher kann Objektverfolgung die Objekterkennung durch Berücksichtigen eines Bewegungsverlaufs eines Objekts ergänzen. Infolgedessen kann Objektverfolgung nützlich sein, um ein Objekt für einen Zeitraum zu verfolgen, beispielsweise in einem Video. Objektverfolgung kann jedoch kompliziert sein, wenn mehrere Objekte verfolgt werden sollen, da ein aktuell erkanntes Objekt möglicherweise mit einem vorher erkannten Objekt assoziiert werden muss, beispielsweise da sich das vorher erkannte Objekt in eine neue Position bewegt haben kann, ein vorher erkanntes Objekt von einem Sensor möglicherweise nicht mehr erkannt wird, da es beispielsweise ein Sichtfeld der Kamera verlassen hat, oder ein neu erkanntes Objekt möglicherweise von einem Sensor aktuell erkannt wird, da es in das Sichtfeld der Kamera eingetreten ist.Object detection and object tracking can have a wide range of applications in different fields, for example in driving, more specifically in motor vehicles on the road. Object detection and object tracking complement each other. Although object detection may involve the detection of an object in an image, it would not provide information about the object's motion history. Therefore, object tracking can complement object detection by taking into account a motion history of an object. As a result, object tracking can be useful for tracking an object for a period of time, for example in a video. However, object tracking can be complicated when multiple objects are to be tracked, since a currently detected object may need to be associated with a previously detected object, for example because the previously detected object may have moved to a new position, a previously detected object may no longer be detected by a sensor because it has, for example, left a field of view of the camera, or a newly detected object may currently be detected by a sensor because it has entered the field of view of the camera.

KURZDARSTELLUNGBRIEF DESCRIPTION

Eine Aufgabe besteht darin, ein Objektverfolgungsdatenassoziationsmodul, das beim Durchführen von Datenassoziation für Objektverfolgung effektiv ist, oder ein effektives Verfahren zur Assoziation von Objektverfolgungsdaten bereitzustellen.One object is to provide an object tracking data association module that is effective in performing data association for object tracking or an effective method for associating object tracking data.

Gemäß einem ersten Aspekt der Erfindung wird ein Objektverfolgungsdatenassoziationsmodul bereitgestellt, das Folgendes aufweist: eine Pfaddatenabrufeinrichtung, die dazu ausgebildet ist, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist; eine Sensormessdatenabrufeinrichtung, die dazu ausgebildet ist, mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; und eine Differenzparameterbestimmungseinrichtung, die dazu ausgebildet ist, mindestens einen Differenzparameter zu bestimmen, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Differenzparameterbestimmungseinrichtung ein Exponentialfunktionsmodul aufweist, das zum Durchführen von Berechnungen unter Verwendung einer Exponentialfunktion ausgebildet ist, und die Differenzparameterbestimmungseinrichtung dazu ausgebildet ist, das Exponentialfunktionsmodul zum Berechnen des mindestens einen Differenzparameters unter Verwendung der Exponentialfunktion zu verwenden.According to a first aspect of the invention, there is provided an object tracking data association module comprising: a path data retrieval device configured to provide at least one path data set of at least one path associated with at least one detected object; a sensor measurement data retrieval device configured to provide at least one sensor measurement data set for the at least one path associated with the at least one detected object; and a difference parameter determination device configured to determine at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object; wherein the difference parameter determination device comprises an exponential function module configured to perform calculations using an exponential function, and the difference parameter determination device is configured to use the exponential function module to calculate the at least one difference parameter using the exponential function.

Das Objektverfolgungsdatenassoziationsmodul weist die Differenzparameterbestimmungseinrichtung auf, die dazu ausgebildet ist, den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion zu bestimmen, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The object tracking data association module comprises the difference parameter determination device configured to determine the at least one difference parameter using the exponential function, which would advantageously enable data association to be performed effectively.

Optional weist die Differenzparameterbestimmungseinrichtung eine Korrelationsparameterbestimmungseinrichtung auf, die dazu ausgebildet ist, mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert.Optionally, the difference parameter determination device comprises a correlation parameter determination device which is designed to determine at least one correlation parameter which defines a correlation between the at least one sensor measurement data set and the at least one path data set.

Die Korrelationsparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert, was vorteilhafterweise eine Berücksichtigung einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde.The correlation parameter determination device is designed to determine the at least one correlation parameter that defines a correlation between the at least one sensor measurement data set and the at least one path data set, which would advantageously enable consideration of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Differenzparameterbestimmungseinrichtung einen statistischen Abstandsrechner auf, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter statistisch zu berechnen.Optionally, the difference parameter determination device comprises a statistical distance calculator which is designed to statistically calculate the at least one correlation parameter.

Der statistische Abstandsrechner ist dazu ausgebildet, den mindestens einen Korrelationsparameter statistisch zu berechnen, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde.The statistical distance calculator is configured to statistically calculate the at least one correlation parameter, which would advantageously enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Exponentialfunktion einen Exponenten auf, der den mindestens einen Korrelationsparameter aufweist.Optionally, the exponential function has an exponent that has the at least one correlation parameter.

Die Differenzparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion zu bestimmen, die den Exponenten aufweist, der den mindestens einen Korrelationsparameter aufweist, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The difference parameter determination device is designed to determine the at least one diff ference parameter using the exponential function having the exponent having the at least one correlation parameter, which would advantageously enable data association to be performed effectively.

Optional weist der Exponent ein negatives Vielfaches des mindestens einen Korrelationsparameters auf.Optionally, the exponent is a negative multiple of the at least one correlation parameter.

Die Differenzparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion zu bestimmen, die den Exponenten aufweist, der das negative Vielfache des mindestens einen Korrelationsparameters aufweist, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The difference parameter determining means is configured to determine the at least one difference parameter using the exponential function having the exponent that is the negative multiple of the at least one correlation parameter, which would advantageously enable data association to be performed effectively.

Optional weist die Differenzparameterbestimmungseinrichtung einen Mahalanobis-Abstandsrechner auf, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel zu berechnen, wobei der mindestens eine Korrelationsparameter einen Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Optionally, the difference parameter determination device comprises a Mahalanobis distance calculator configured to calculate the at least one correlation parameter using a Mahalanobis distance formula, wherein the at least one correlation parameter comprises a Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Die Korrelationsparameterbestimmungseinrichtung weist den Mahalanobis-Abstandsrechner auf, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung der Mahalanobis-Abstandsformel zu berechnen, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde.The correlation parameter determination device comprises the Mahalanobis distance calculator, which is configured to calculate the at least one correlation parameter using the Mahalanobis distance formula, which would advantageously enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Exponentialfunktion einen Exponenten auf, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Optionally, the exponential function has an exponent that represents the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Die Differenzparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion zu bestimmen, die den Exponenten aufweist, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde.The difference parameter determination device is configured to determine the at least one difference parameter using the exponential function having the exponent representing the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set, which would advantageously enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist der Exponent ein negatives Vielfaches des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz auf.Optionally, the exponent has a negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Die Differenzparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion zu bestimmen, die den Exponenten aufweist, der das negative Vielfache des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde.The difference parameter determination device is configured to determine the at least one difference parameter using the exponential function having the exponent that is the negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set, which would advantageously enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional ist die Differenzparameterbestimmungseinrichtung dazu ausgebildet, den mindestens einen Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins zu berechnen.Optionally, the difference parameter determination device is designed to calculate the at least one difference parameter by subtracting a value of the exponential function from one.

Die Differenzparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins zu bestimmen, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The difference parameter determination device is designed to determine the at least one difference parameter by subtracting a value of the exponential function from one, which would advantageously enable data association to be carried out effectively.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Existenzwahrscheinlichkeitsbestimmungseinrichtung aufweisen, die dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.The object tracking data association module may further comprise an existence probability determiner configured to accept the at least one difference parameter as input and output at least one existence probability parameter for the at least one path associated with the at least one detected object.

Die Existenzwahrscheinlichkeitsbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Existenzwahrscheinlichkeitsparameter auszugeben, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The existence probability determination device is designed to output the at least one existence probability parameter, which would advantageously enable an effective implementation of data association.

Optional weist die Existenzwahrscheinlichkeitsbestimmungseinrichtung ein System für maschinelles Lernen auf, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.Optionally, the existence probability determination device comprises a machine learning system configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object.

Das System für maschinelles Lernen ist dazu ausgebildet, den mindestens einen Existenzwahrscheinlichkeitsparameter auszugeben, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The machine learning system is configured to output the at least one existence probability parameter, which would advantageously enable effective performance of data association.

Optional weist die Existenzwahrscheinlichkeitsbestimmungseinrichtung ein LSTM-Netzwerkmodul auf, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.Optionally, the existence probability determination device comprises an LSTM network module configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object.

Das LSTM-Netzwerkmodul ist dazu ausgebildet, den mindestens einen Existenzwahrscheinlichkeitsparameter auszugeben, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde. Darüber hinaus kann das LSTM-Netzwerkmodul vorteilhafterweise trainiert werden, um zu ermöglichen, dass das Objektverfolgungsdatenassoziationsmodul zusammen mit einer Schätzeinrichtung, beispielsweise einem Kalman-Filter, Ende-zu-Ende-Objektverfolgung mit Rückwärtspropagierung durchführt.The LSTM network module is configured to output the at least one existence probability parameter, which would advantageously enable data association to be performed effectively. Furthermore, the LSTM network module may advantageously be trained to enable the object tracking data association module to perform end-to-end object tracking with back propagation together with an estimator, e.g. a Kalman filter.

Optional ist die Pfaddatenabrufeinrichtung dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der einen aktiven Pfaddatensatz eines aktiven Pfads aufweist, der mit einem vorher erkannten Objekt assoziiert ist.Optionally, the path data retrieval device is configured to provide the at least one path data set comprising an active path data set of an active path associated with a previously detected object.

Die Pfaddatenabrufeinrichtung ist dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der den aktiven Pfaddatensatz des aktiven Pfads aufweist, was vorteilhafterweise eine Berücksichtigung von Daten in Bezug auf das vorher erkannte Objekt ermöglichen würde, die im aktiven Pfaddatensatz enthalten sind.The path data retrieval device is configured to provide the at least one path data set comprising the active path data set of the active path, which would advantageously enable consideration of data relating to the previously detected object contained in the active path data set.

Optional ist die Pfaddatenabrufeinrichtung dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist.Optionally, the path data retrieval device is configured to provide the at least one path data set comprising an inactive path data set of an inactive path associated with a newly detected object.

Die Pfaddatenabrufeinrichtung ist dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der den inaktiven Pfaddatensatz aufweist, was vorteilhafterweise eine Berücksichtigung von Daten in Bezug auf das neu erkannte Objekt ermöglichen würde.The path data retrieval device is configured to provide the at least one path data set comprising the inactive path data set, which would advantageously enable consideration of data relating to the newly detected object.

Das Objektverfolgungsdatenassoziationsmodul kann ferner einen Schwellenwertkomparator aufweisen, der dazu ausgebildet ist, den mindestens einen Existenzwahrscheinlichkeitsparameter des mindestens einen Pfads mit einem Existenzschwellenwert zu vergleichen.The object tracking data association module may further comprise a threshold comparator configured to compare the at least one existence probability parameter of the at least one path with an existence threshold.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Entscheidereinrichtung aufweisen, die dazu ausgebildet ist, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist.The object tracking data association module may further comprise a decision device configured to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold.

Die Entscheidereinrichtung ist dazu ausgebildet, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist, was vorteilhafterweise ein effektives Assoziieren eines aktuell erkannten Objekts mit dem aktiven Pfad ermöglichen würde.The decision device is designed to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold, which would advantageously enable an effective association of a currently detected object with the active path.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Entscheidereinrichtung aufweisen, die dazu ausgebildet ist, den aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist.The object tracking data association module may further comprise a decision device configured to terminate the active path if the at least one existence probability parameter of the active path is below the existence threshold.

Die Entscheidereinrichtung ist dazu ausgebildet, den aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist, was vorteilhafterweise das Objektverfolgungsdatenassoziationsmodul effektiv davon abhalten würde, das vorher erkannte Objekt zu verfolgen, das von einem Sensor nicht mehr erkannt wird, da es beispielsweise das Sichtfeld der Kamera verlassen hat.The decision device is configured to terminate the active path if the at least one existence probability parameter of the active path is below the existence threshold, which would advantageously effectively prevent the object tracking data association module from tracking the previously detected object that is no longer detected by a sensor because it has, for example, left the field of view of the camera.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Entscheidereinrichtung aufweisen, die dazu ausgebildet ist, den inaktiven Pfad auf einen anderen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist.The object tracking data association module may further comprise a decision device configured to initialize the inactive path to another active path if the at least one existence probability parameter of the inactive path is above the existence threshold.

Die Entscheidereinrichtung ist dazu ausgebildet, den inaktiven Pfad auf den anderen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist, was vorteilhafterweise eine effektive Verfolgung des neu erkannten Objekts ermöglichen würde.The decision device is designed to initialize the inactive path to the other active path if the at least one existence probability parameter of the inactive path is above the existence threshold, which would advantageously enable effective tracking of the newly detected object.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Sensorzuverlässigkeitswert-Abrufeinrichtung aufweisen, die dazu ausgebildet ist, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um den mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist.The object tracking data association module may further comprise a sensor reliability value retriever configured to obtain at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set for the at least one path associated with the at least one detected object.

Die Sensorzuverlässigkeitswert-Abrufeinrichtung ist dazu ausgebildet, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, was vorteilhafterweise eine Berücksichtigung des mindestens einen Sensorzuverlässigkeitsparameters ermöglichen würde.The sensor reliability value retrieval device is designed to obtain at least one sensor reliability parameter, which advantageously allows consideration of the at least one sensor reliability parameter.

Das Objektverfolgungsdatenassoziationsmodul kann ferner einen Schwellenwertkomparator aufweisen, der dazu ausgebildet ist, den mindestens einen Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert zu vergleichen.The object tracking data association module may further comprise a threshold comparator configured to compare the at least one sensor reliability parameter to a sensor reliability threshold.

Das Objektverfolgungsdatenassoziationsmodul kann ferner eine Entscheidereinrichtung aufweisen, die dazu ausgebildet ist, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist.The object tracking data association module may further comprise a decision device configured to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold.

Die Entscheidereinrichtung ist dazu ausgebildet, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist, was vorteilhafterweise ein Identifizieren und Ignorieren unzuverlässiger Sensordaten ermöglichen würde.The decision device is configured to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold, which would advantageously enable identification and ignoring of unreliable sensor data.

Ein Objektverfolgungsmodul kann das Objektverfolgungsdatenassoziationsmodul aufweisen.An object tracking module may include the object tracking data association module.

Ein Kraftfahrzeug kann das Objektverfolgungsdatenassoziationsmodul aufweisen.A motor vehicle may include the object tracking data association module.

Alle Merkmale oder Schritte, die im Kontext des ersten Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem ersten Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.Any features or steps disclosed in the context of the first aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally in the inventions, where possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the first aspect of the invention and generally in the inventions, where possible.

Gemäß einem zweiten Aspekt der Erfindung wird ein Objektverfolgungsdatenassoziationsmodul bereitgestellt, das Folgendes aufweist: eine Pfaddatenabrufeinrichtung, die dazu ausgebildet ist, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist; wobei die Pfaddatenabrufeinrichtung dazu ausgebildet ist, den mindestens einen Pfaddatensatz bereitzustellen, der einen aktiven Pfaddatensatz eines aktiven Pfads aufweist, der mit einem vorher erkannten Objekt assoziiert ist; wobei die Pfaddatenabrufeinrichtung dazu ausgebildet ist, den mindestens einen Pfaddatensatz bereitzustellen, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist; eine Sensormessdatenabrufeinrichtung, die dazu ausgebildet ist, mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; eine Differenzparameterbestimmungseinrichtung, die dazu ausgebildet ist, mindestens einen Differenzparameter zu bestimmen, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Differenzparameterbestimmungseinrichtung ein Exponentialfunktionsmodul aufweist, das zum Durchführen von Berechnungen unter Verwendung einer Exponentialfunktion ausgebildet ist, und die Differenzparameterbestimmungseinrichtung dazu ausgebildet ist, das Exponentialfunktionsmodul zum Berechnen des mindestens einen Differenzparameters unter Verwendung der Exponentialfunktion zu verwenden; wobei die Differenzparameterbestimmungseinrichtung eine Korrelationsparameterbestimmungseinrichtung aufweist, die dazu ausgebildet ist, mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert; wobei die Differenzparameterbestimmungseinrichtung einen statistischen Abstandsrechner aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter statistisch zu berechnen; wobei die Differenzparameterbestimmungseinrichtung einen Mahalanobis-Abstandsrechner aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel zu berechnen, wobei der mindestens eine Korrelationsparameter einen Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; wobei die Differenzparameterbestimmungseinrichtung dazu ausgebildet ist, den mindestens einen Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins zu berechnen; wobei die Exponentialfunktion einen Exponenten aufweist, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; wobei der Exponent ein negatives Vielfaches des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; eine Existenzwahrscheinlichkeitsbestimmungseinrichtung, die dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung ein System für maschinelles Lernen aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung ein LSTM-Netzwerkmodul aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; einen Schwellenwertkomparator, der dazu ausgebildet ist, den mindestens einen Existenzwahrscheinlichkeitsparameter des mindestens einen Pfads mit einem Existenzschwellenwert zu vergleichen; eine Entscheidereinrichtung, die dazu ausgebildet ist, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist; wobei die Entscheidereinrichtung dazu ausgebildet ist, einen aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist; wobei die Entscheidereinrichtung dazu ausgebildet ist, den inaktiven Pfad auf einen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist; und eine Sensorzuverlässigkeitswert-Abrufeinrichtung, die dazu ausgebildet ist, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um den mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei der Schwellenwertkomparator dazu ausgebildet ist, den mindestens einen Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert zu vergleichen; wobei die Entscheidereinrichtung dazu ausgebildet ist, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist.According to a second aspect of the invention, an object tracking data association module is provided, comprising: a path data retrieval device configured to provide at least one path data set of at least one path associated with at least one detected object; wherein the path data retrieval device is configured to provide the at least one path data set comprising an active path data set of an active path associated with a previously detected object; wherein the path data retrieval device is configured to provide the at least one path data set comprising an inactive path data set of an inactive path associated with a newly detected object; a sensor measurement data retrieval device configured to provide at least one sensor measurement data set for the at least one path associated with the at least one detected object; a difference parameter determination device configured to determine at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object; wherein the difference parameter determination device comprises an exponential function module configured to perform calculations using an exponential function, and the difference parameter determination device is configured to use the exponential function module to calculate the at least one difference parameter using the exponential function; wherein the difference parameter determination device comprises a correlation parameter determination device configured to determine at least one correlation parameter that defines a correlation between the at least one sensor measurement data set and the at least one path data set; wherein the difference parameter determination device comprises a statistical distance calculator configured to statistically calculate the at least one correlation parameter; wherein the difference parameter determination device comprises a Mahalanobis distance calculator configured to calculate the at least one correlation parameter using a Mahalanobis distance formula, wherein the at least one correlation parameter comprises a Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; wherein the difference parameter determination device is designed to calculate the at least one difference parameter by subtracting a value of the exponential function from one; wherein the exponential function has an exponent which has the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; wherein the exponent has a negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; an existence probability determination device which is designed to accept the at least one difference parameter as input and to output at least one existence probability parameter for the at least one path associated with the at least one detected object; wherein the existence probability determination device comprises a machine learning system configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object; wherein the existence probability determination device comprises an LSTM network module configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object; a threshold comparator configured to compare the at least one existence probability parameter of the at least one path with an existence threshold; a decision device configured to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold; wherein the decision device is configured to terminate an active path if the at least one existence probability parameter of the active path is below the existence threshold; wherein the decision device is configured to initialize the inactive path to an active path if the at least one existence probability parameter of the inactive path is above the existence threshold; and a sensor reliability value retrieval device configured to obtain at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set for the at least one path associated with the at least one detected object; wherein the threshold comparator is configured to compare the at least one sensor reliability parameter with a sensor reliability threshold; wherein the decision device is configured to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold.

Das Objektverfolgungsdatenassoziationsmodul würde vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen. Die Korrelationsparameterbestimmungseinrichtung ist dazu ausgebildet, den mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert, was vorteilhafterweise eine Berücksichtigung einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde. Der statistische Abstandsrechner ist dazu ausgebildet, den mindestens einen Korrelationsparameter statistisch zu berechnen, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde. Die Korrelationsparameterbestimmungseinrichtung weist den Mahalanobis-Abstandsrechner auf, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung der Mahalanobis-Abstandsformel zu berechnen, was vorteilhafterweise eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen würde. Das LSTM-Netzwerkmodul kann vorteilhafterweise trainiert werden, um zu ermöglichen, dass das Objektverfolgungsdatenassoziationsmodul zusammen mit einer Schätzeinrichtung, beispielsweise einem Kalman-Filter, Ende-zu-Ende-Objektverfolgung mit Rückwärtspropagierung durchführt. Die Pfaddatenabrufeinrichtung ist dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der den aktiven Pfaddatensatz des aktiven Pfads aufweist, was vorteilhafterweise eine Berücksichtigung von Daten in Bezug auf das vorher erkannte Objekt ermöglichen würde, die im aktiven Pfaddatensatz enthalten sind. Die Pfaddatenabrufeinrichtung ist dazu ausgebildet, den mindestens einen Pfaddatensatz bereitzustellen, der den inaktiven Pfaddatensatz aufweist, was vorteilhafterweise eine Berücksichtigung von Daten in Bezug auf ein neu erkanntes Objekt ermöglichen würde. Die Entscheidereinrichtung ist dazu ausgebildet, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist, was vorteilhafterweise ein effektives Assoziieren eines gerade erkannten Objekts mit dem aktiven Pfad ermöglichen würde. Die Entscheidereinrichtung ist dazu ausgebildet, den aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist, was vorteilhafterweise das Objektverfolgungsdatenassoziationsmodul effektiv davon abhalten würde, das vorher erkannte Objekt zu verfolgen, das von keinem Sensor mehr erkannt wird, da es beispielsweise das Sichtfeld der Kamera verlassen hat. Die Entscheidereinrichtung ist dazu ausgebildet, den inaktiven Pfad auf den anderen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist, was vorteilhafterweise eine effektive Verfolgung des neu erkannten Objekts ermöglichen würde. Die Sensorzuverlässigkeitswert-Abrufeinrichtung ist dazu ausgebildet, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, was vorteilhafterweise eine Berücksichtigung des mindestens einen Sensorzuverlässigkeitsparameters ermöglichen würde. Die Entscheidereinrichtung ist dazu ausgebildet, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist, was vorteilhafterweise ein Identifizieren und Ignorieren unzuverlässiger Sensordaten ermöglichen würde.The object tracking data association module would advantageously enable data association to be performed effectively. The correlation parameter determination device is configured to determine the at least one correlation parameter defining a correlation between the at least one sensor measurement data set and the at least one path data set, which would advantageously enable consideration of a correlation between the at least one sensor measurement data set and the at least one path data set. The statistical distance calculator is configured to statistically calculate the at least one correlation parameter, which would advantageously enable reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set. The correlation parameter determination device comprises the Mahalanobis distance calculator, which is configured to calculate the at least one correlation parameter using the Mahalanobis distance formula, which would advantageously enable reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set. The LSTM network module can advantageously be trained to enable the object tracking data association module, together with an estimator, for example a Kalman filter, to perform end-to-end object tracking with back propagation. The path data retrieval device is configured to provide the at least one path data set comprising the active path data set of the active path, which would advantageously enable consideration of data relating to the previously detected object contained in the active path data set. The path data retrieval device is configured to provide the at least one path data set comprising the inactive path data set, which would advantageously enable consideration of data relating to a newly detected object. The decision device is configured to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold, which would advantageously enable effective association of a just detected object with the active path. The decision-making device is designed to terminate the active path if the at least one existence probability parameter of the active path is below the existence threshold, which would advantageously effectively prevent the object tracking data association module from tracking the previously detected object that is no longer detected by any sensor because it has, for example, left the field of view of the camera. The decision-making device is designed to initialize the inactive path to the other active path if the at least one existence probability parameter of the inactive path is above the existence threshold, which would advantageously enable effective tracking of the newly detected object. The sensor reliability value retrieval device is designed to obtain at least one sensor reliability parameter, which would advantageously allow consideration of the at least one sensor reliability parameters. The decision device is designed to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold, which would advantageously enable identification and ignoring of unreliable sensor data.

Alle Merkmale oder Schritte, die im Kontext des zweiten Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem zweiten Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.Any features or steps disclosed in the context of the second aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally in the inventions, where possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the second aspect of the invention and generally in the inventions, where possible.

Gemäß einem dritten Aspekt der Erfindung wird ein Verfahren zur Assoziation von Objektverfolgungsdaten bereitgestellt, das die folgenden Handlungen aufweist: Bereitstellen mindestens eines Pfaddatensatzes mindestens eines Pfads, der mit mindestens einem erkannten Objekt assoziiert ist, durch einen Prozessor; Bereitstellen mindestens eines Sensormessdatensatzes für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch den Prozessor; und Bestimmen mindestens eines Differenzparameters, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch den Prozessor unter Verwendung einer Exponentialfunktion.According to a third aspect of the invention, there is provided a method for associating object tracking data, comprising the acts of: providing, by a processor, at least one path record of at least one path associated with at least one detected object; providing, by the processor, at least one sensor measurement record for the at least one path associated with the at least one detected object; and determining, by the processor, at least one difference parameter defining a relationship between the at least one sensor measurement record and the at least one path record of the at least one path associated with the at least one detected object using an exponential function.

Das Verfahren zur Assoziation von Objektverfolgungsdaten bestimmt den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The method for associating object tracking data determines the at least one difference parameter using the exponential function, which would advantageously enable data association to be performed effectively.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Bestimmens mindestens eines Korrelationsparameters, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert, durch den Prozessor aufweisen.The method for associating object tracking data may further comprise the act of determining, by the processor, at least one correlation parameter defining a correlation between the at least one sensor measurement data set and the at least one path data set.

Vorteilhafterweise würde dies eine Berücksichtigung einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen.Advantageously, this would allow consideration of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Handlung des Bestimmens des mindestens einen Korrelationsparameters die Handlung des statistischen Berechnens des mindestens einen Korrelationsparameters durch den Prozessor auf.Optionally, the act of determining the at least one correlation parameter comprises the act of statistically calculating, by the processor, the at least one correlation parameter.

Vorteilhafterweise würde dies eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen.Advantageously, this would enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Bestimmens des mindestens einen Differenzparameters durch den Prozessor unter Verwendung der Exponentialfunktion auf, die einen Exponenten aufweist, der den mindestens einen Korrelationsparameter aufweist.Optionally, the act of determining the at least one difference parameter comprises the act of determining, by the processor, the at least one difference parameter using the exponential function having an exponent comprising the at least one correlation parameter.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen.Advantageously, this would enable effective implementation of data association.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Bestimmens des mindestens einen Differenzparameters durch den Prozessor unter Verwendung der Exponentialfunktion auf, die den Exponenten aufweist, der ein negatives Vielfaches des mindestens einen Korrelationsparameters aufweist. Optionally, the act of determining the at least one difference parameter comprises the act of determining, by the processor, the at least one difference parameter using the exponential function having the exponent that is a negative multiple of the at least one correlation parameter.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen.Advantageously, this would enable effective implementation of data association.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Berechnens des mindestens einen Korrelationsparameters durch den Prozessor unter Verwendung einer Mahalanobis-Abstandsformel auf, wobei der mindestens eine Korrelationsparameter einen Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Optionally, the act of determining the at least one difference parameter comprises the act of calculating, by the processor, the at least one correlation parameter using a Mahalanobis distance formula, wherein the at least one correlation parameter comprises a Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Vorteilhafterweise würde dies eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen.Advantageously, this would enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Bestimmens des mindestens einen Differenzparameters durch den Prozessor unter Verwendung der Exponentialfunktion auf, die einen Exponenten aufweist, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Optionally, the act of determining the at least one difference parameter comprises the act of determining, by the processor, the at least one difference parameter using the exponential function having an exponent that represents the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Vorteilhafterweise würde dies eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen.Advantageously, this would enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Bestimmens des mindestens einen Differenzparameters durch den Prozessor unter Verwendung der Exponentialfunktion auf, die den Exponenten aufweist, der ein negatives Vielfaches des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist. Optionally, the act of determining the at least one difference parameter comprises the act of determining, by the processor, the at least one difference parameter using the exponential function having the exponent that is a negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set.

Vorteilhafterweise würde dies eine zuverlässige und angemessene Analyse einer Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz ermöglichen.Advantageously, this would enable a reliable and appropriate analysis of a correlation between the at least one sensor measurement data set and the at least one path data set.

Optional weist die Handlung des Bestimmens des mindestens einen Differenzparameters die Handlung des Subtrahierens eines Wertes der Exponentialfunktion von eins durch den Prozessor auf.Optionally, the act of determining the at least one difference parameter comprises the act of subtracting, by the processor, a value of the exponential function from one.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen.Advantageously, this would enable effective implementation of data association.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Bereitstellens des mindestens einen Differenzparameters durch den Prozessor als Eingabe in eine Existenzwahrscheinlichkeitsbestimmungseinrichtung aufweisen.The method for associating object tracking data may further comprise the act of providing, by the processor, the at least one difference parameter as input to an existence probability determination device.

Optional kann die Handlung des Bereitstellens des mindestens einen Differenzparameters als Eingabe in die Existenzwahrscheinlichkeitsbestimmungseinrichtung die Handlung des Bereitstellens des mindestens einen Differenzparameters durch den Prozessor als Eingabe in ein System für maschinelles Lernen aufweisen.Optionally, the act of providing the at least one difference parameter as input to the existence probability determination device may comprise the act of providing the at least one difference parameter by the processor as input to a machine learning system.

Optional kann die Handlung des Bereitstellens des mindestens einen Differenzparameters als Eingabe in die Existenzwahrscheinlichkeitsbestimmungseinrichtung die Handlung des Bereitstellens des mindestens einen Differenzparameters durch den Prozessor als Eingabe in ein LSTM-Netzwerkmodul aufweisen.Optionally, the act of providing the at least one difference parameter as input to the existence probability determiner may comprise the act of providing the at least one difference parameter by the processor as input to an LSTM network module.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Bestimmens mindestens eines Existenzwahrscheinlichkeitsparameters für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch den Prozessor unter Verwendung der Existenzwahrscheinlichkeitsbestimmungseinrichtung aufweisen. The method for associating object tracking data may further comprise the act of determining, by the processor, at least one existence probability parameter for the at least one path associated with the at least one detected object using the existence probability determining means.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen.Advantageously, this would enable effective implementation of data association.

Optional weist die Handlung des Bestimmens des mindestens einen Existenzwahrscheinlichkeitsparameters unter Verwendung der Existenzwahrscheinlichkeitsbestimmungseinrichtung die Handlung des Bestimmens des mindestens einen Existenzwahrscheinlichkeitsparameters für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch den Prozessor unter Verwendung des Systems für maschinelles Lernen auf.Optionally, the act of determining the at least one existence probability parameter using the existence probability determining device comprises the act of determining, by the processor, the at least one existence probability parameter for the at least one path associated with the at least one detected object using the machine learning system.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen.Advantageously, this would enable effective implementation of data association.

Optional weist die Handlung des Bestimmens des mindestens einen Existenzwahrscheinlichkeitsparameters unter Verwendung der Existenzwahrscheinlichkeitsbestimmungseinrichtung die Handlung des Bestimmens des mindestens einen Existenzwahrscheinlichkeitsparameters für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch den Prozessor unter Verwendung des LSTM-Netzwerkmoduls auf.Optionally, the act of determining the at least one existence probability parameter using the existence probability determining device comprises the act of determining, by the processor, the at least one existence probability parameter for the at least one path associated with the at least one detected object using the LSTM network module.

Vorteilhafterweise würde dies eine effektive Durchführung von Datenassoziation ermöglichen. Darüber hinaus kann das LSTM-Netzwerkmodul vorteilhafterweise trainiert werden, um zu ermöglichen, dass das Objektverfolgungsdatenassoziationsmodul zusammen mit einer Schätzeinrichtung, beispielsweise einem Kalman-Filter, Ende-zu-Ende-Objektverfolgung mit Rückwärtspropagierung durchführt.Advantageously, this would allow data association to be performed effectively. Furthermore, the LSTM network module may advantageously be trained to allow the object tracking data association module to perform end-to-end object tracking with back propagation together with an estimator, e.g. a Kalman filter.

Optional weist die Handlung des Bereitstellens des mindestens einen Pfaddatensatzes die Handlung des Bereitstellens eines aktiven Pfaddatensatzes eines aktiven Pfads, die mit einem vorher erkannten Objekt assoziiert ist, durch den Prozessor auf.Optionally, the act of providing the at least one path record comprises the act of providing, by the processor, an active path record of an active path associated with a previously detected object.

Vorteilhafterweise würde dies eine Berücksichtigung von Daten in Bezug auf das vorher erkannte Objekt ermöglichen, die in dem aktiven Pfaddatensatz enthalten sind.Advantageously, this would allow consideration of data related to the previously detected object contained in the active path dataset.

Optional weist die Handlung des Bereitstellens des mindestens einen Pfaddatensatzes die Handlung des Bereitstellens des mindestens einen Pfaddatensatzes, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist, durch den Prozessor auf.Optionally, the act of providing the at least one path record comprises the act of providing, by the processor, the at least one path record comprising an inactive path record of an inactive path associated with a newly recognized object.

Vorteilhafterweise würde dies eine Berücksichtigung von Daten in Bezug auf das neu erkannte Objekt ermöglichen.Advantageously, this would allow consideration of data relating to the newly detected object.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Vergleichens des mindestens einen Existenzwahrscheinlichkeitsparameters des mindestens einen Pfads mit einem Existenzschwellenwert durch den Prozessor aufweisen.The method for associating object tracking data may further comprise the act of comparing, by the processor, the at least one existence probability parameter of the at least one path to an existence threshold.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Durchführens einer Assoziation für den aktiven Pfad durch den Prozessor aufweisen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist.The method for associating object tracking data may further comprise the act of performing an association for the active path, by the processor, when the at least one existence probability parameter of the active path is above the existence threshold.

Vorteilhafterweise würde dies ein effektives Assoziieren eines aktuell erkannten Objekts mit dem aktiven Pfad ermöglichen.Advantageously, this would enable an effective association of a currently detected object with the active path.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Beendens eines aktiven Pfads durch den Prozessor aufweisen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist.The method for associating object tracking data may further comprise the act of terminating, by the processor, an active path when the at least one existence probability parameter of the active path is below the existence threshold.

Vorteilhafterweise würde dies die Verfolgung des vorher erkannten Objekts effektiv stoppen, das von einem Sensor nicht mehr erkannt wird, da es beispielsweise das Sichtfeld der Kamera verlassen hat.Advantageously, this would effectively stop tracking the previously detected object that is no longer detected by a sensor because, for example, it has left the camera's field of view.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner die Handlung des Initialisierens des inaktiven Pfads auf einen aktiven Pfad durch den Prozessor aufweisen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist.The method for associating object tracking data may further comprise the act of initializing, by the processor, the inactive path to an active path when the at least one existence probability parameter of the inactive path is above the existence threshold.

Vorteilhafterweise würde dies eine effektive Verfolgung des neu erkannten Objekts ermöglichen.Advantageously, this would enable effective tracking of the newly detected object.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner eine Handlung des Erhaltens mindestens eines Sensorzuverlässigkeitsparameters durch den Prozessor aufweisen, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um den mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist.The method for associating object tracking data may further comprise an act of obtaining, by the processor, at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set for the at least one path associated with the at least one detected object.

Vorteilhafterweise würde dies eine Berücksichtigung des mindestens einen Sensorzuverlässigkeitsparameters ermöglichen.Advantageously, this would allow consideration of at least one sensor reliability parameter.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner eine Handlung des Vergleichens des mindestens einen Sensorzuverlässigkeitsparameters mit einem Sensorzuverlässigkeitsschwellenwert durch den Prozessor aufweisen.The method for associating object tracking data may further comprise an act of comparing, by the processor, the at least one sensor reliability parameter to a sensor reliability threshold.

Das Verfahren zur Assoziation von Objektverfolgungsdaten kann ferner eine Handlung des Ignorierens des mindestens einen Sensormessdatensatzes durch den Prozessor aufweisen, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist.The method for associating object tracking data may further comprise an act of ignoring, by the processor, the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold.

Vorteilhafterweise würde dies ein Identifizieren und Ignorieren unzuverlässiger Sensordaten ermöglichen.Advantageously, this would enable identification and ignoring of unreliable sensor data.

Alle Merkmale oder Schritte, die im Kontext des dritten Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem dritten Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.Any features or steps disclosed in the context of the third aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally in the inventions, where possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the third aspect of the invention and generally in the inventions, where possible.

Gemäß einem vierten Aspekt der Erfindung wird ein computerimplementiertes Verfahren zur Assoziation von Objektverfolgungsdaten bereitgestellt, das ein Ausführen der folgenden Handlungen auf einem Prozessor aufweist: Bereitstellen mindestens eines Pfaddatensatzes mindestens eines Pfads, der mit mindestens einem erkannten Objekt assoziiert ist; Bereitstellen mindestens eines Sensormessdatensatzes für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist; und Bestimmen mindestens eines Differenzparameters, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist, unter Verwendung einer Exponentialfunktion.According to a fourth aspect of the invention, there is provided a computer-implemented method for associating object tracking data, comprising performing the following actions on a processor: providing at least one path data set of at least one path associated with at least one detected object; providing at least one sensor measurement data set for the at least one path associated with the at least one detected object; and determining at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object using an exponential function.

Das Verfahren zur Assoziation von Objektverfolgungsdaten bestimmt den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The method for associating object tracking data determines the at least one difference parameter using the exponential function, which would advantageously enable data association to be performed effectively.

Alle Merkmale oder Schritte, die im Kontext des vierten Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem vierten Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.All features or steps disclosed in the context of the fourth aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally be used in the inventions, wherever possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the fourth aspect of the invention and generally in the inventions, wherever possible.

Gemäß einem fünften Aspekt der Erfindung wird ein nicht-transitorisches computerlesbares Medium mit darauf gespeicherten Anweisungen bereitgestellt, die bei Ausführung auf einem Prozessor ein Verfahren zur Assoziation von Objektverfolgungsdaten durchführen, das die folgenden Handlungen aufweist: Bereitstellen mindestens eines Pfaddatensatzes mindestens eines Pfads, der mit mindestens einem erkannten Objekt assoziiert ist; Bereitstellen mindestens eines Sensormessdatensatzes für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist; und Bestimmen mindestens eines Differenzparameters, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist, unter Verwendung einer Exponentialfunktion.According to a fifth aspect of the invention, there is provided a non-transitory computer readable medium having instructions stored thereon that, when executed on a processor, perform a method for associating object tracking data comprising the acts of: providing at least one path record of at least one path associated with at least one detected object; providing at least one sensor measurement record for the at least one path associated with the at least one detected object; and determining at least one difference parameter defining a relationship between the at least one sensor measurement record and the at least one path record of the at least one path associated with the at least one detected object using an exponential function.

Das Verfahren zur Assoziation von Objektverfolgungsdaten bestimmt den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The method for associating object tracking data determines the at least one difference parameter using the exponential function, which would advantageously enable data association to be performed effectively.

Alle Merkmale oder Schritte, die im Kontext des fünften Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem fünften Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.Any features or steps disclosed in the context of the fifth aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally in the inventions, where possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the fifth aspect of the invention and generally in the inventions, where possible.

Gemäß einem sechsten Aspekt der Erfindung wird ein Verfahren zur Assoziation von Objektverfolgungsdaten bereitgestellt, das die folgenden Handlungen aufweist: Bereitstellen mindestens eines Pfaddatensatzes mindestens eines Pfads, der mit mindestens einem erkannten Objekt assoziiert ist; Bereitstellen mindestens eines Sensormessdatensatzes für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist; und Bestimmen mindestens eines Differenzparameters, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist, unter Verwendung einer Exponentialfunktion.According to a sixth aspect of the invention, there is provided a method for associating object tracking data, comprising the acts of: providing at least one path data set of at least one path associated with at least one detected object; providing at least one sensor measurement data set for the at least one path associated with the at least one detected object; and determining at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object using an exponential function.

Das Verfahren zur Assoziation von Objektverfolgungsdaten bestimmt den mindestens einen Differenzparameter unter Verwendung der Exponentialfunktion, was vorteilhafterweise eine effektive Durchführung von Datenassoziation ermöglichen würde.The method for associating object tracking data determines the at least one difference parameter using the exponential function, which would advantageously enable data association to be performed effectively.

Alle Merkmale oder Schritte, die im Kontext des sechsten Aspekts der Erfindung offenbart werden, können auch in Kombination mit und/oder im Kontext von anderen Aspekten der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich. Außerdem können alle Merkmale oder Schritte, die im Kontext eines anderen Aspekts der Erfindung offenbart werden, auch in Kombination mit und/oder im Kontext von dem sechsten Aspekt der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.Any features or steps disclosed in the context of the sixth aspect of the invention may also be used in combination with and/or in the context of other aspects of the invention and generally in the inventions, where possible. Furthermore, any features or steps disclosed in the context of another aspect of the invention may also be used in combination with and/or in the context of the sixth aspect of the invention and generally in the inventions, where possible.

In dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen wird auf spezifische Merkmale (einschließlich Verfahrensschritte) der Erfindung Bezug genommen. Es versteht sich, dass die Offenbarung der Erfindung in dieser Spezifikation alle möglichen Kombinationen solcher spezifischen Merkmale umfasst. Wenn zum Beispiel ein spezifisches Merkmal im Kontext eines spezifischen Aspekts oder einer spezifischen Ausführungsform der Erfindung oder eines spezifischen Anspruchs offenbart wird, kann dieses Merkmal auch in Kombination mit und/oder im Kontext von anderen spezifischen Aspekten und Ausführungsformen der Erfindung und allgemein in den Erfindungen verwendet werden, soweit möglich.In this summary, in the description below, in the claims that follow, and in the accompanying drawings, reference is made to specific features (including method steps) of the invention. It is to be understood that the disclosure of the invention in this specification includes all possible combinations of such specific features. For example, where a specific feature is disclosed in the context of a specific aspect or embodiment of the invention or a specific claim, that feature may also be used in combination with and/or in the context of other specific aspects and embodiments of the invention and in the inventions generally, where possible.

In dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen wird hierin auf ein Verfahren mit zwei oder mehr definierten Schritten Bezug genommen, wobei die definierten Schritte in beliebiger Reihenfolge oder simultan ausgeführt werden können (außer wenn der Kontext diese Möglichkeit ausschließt), und das Verfahren kann einen oder mehrere weitere Schritte umfassen, die vor beliebigen der definierten Schritte, zwischen zweien der definierten Schritte oder nach allen der definierten Schritte ausgeführt werden (außer wenn der Kontext diese Möglichkeit ausschließt).In this summary, in the description below, in the claims that follow, and in the accompanying drawings, reference is made herein to a method comprising two or more defined steps, wherein the defined steps may be performed in any order or simultaneously (except where the context precludes this possibility), and the method may comprise one or more further steps performed before any of the defined steps, between two of the defined steps, or after all of the defined steps (except where the context precludes this possibility).

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, werden der Begriff „aufweisen“ und grammatische Äquivalente davon in der Bedeutung verwendet, dass optional andere Komponenten, Bestandteile, Schritte usw. vorhanden sind. Zum Beispiel kann ein Gegenstand, „aufweisend“ (oder „der“) Komponenten A, B und C („aufweist“), aus den Komponenten A, B und C bestehen (das heißt nur diese enthalten) oder er kann nicht nur die Komponenten A, B und C, sondern auch eine oder mehrere andere Komponenten enthalten.As used in this summary, the following description, the following claims, and the accompanying drawings, the term “comprising” and grammatical equivalents thereof are used to mean used to mean that other components, ingredients, steps, etc. are optionally present. For example, an article "having" (or "the") components A, B, and C ("having") may consist of (that is, contain only) components A, B, and C, or it may contain not only components A, B, and C but also one or more other components.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, wird der Begriff „mindestens“ gefolgt von einer Zahl verwendet, um den Anfang eines Bereichs zu bezeichnen, der mit dieser Zahl beginnt (und der in Abhängigkeit von der Variablen, die definiert wird, ein Bereich mit einer Obergrenze oder ohne Obergrenze sein kann). Zum Beispiel bedeutet „mindestens 1“ 1 oder mehr als 1. Der Begriff „höchstens“ gefolgt von einer Zahl wird verwendet, um das Ende eines Bereichs zu bezeichnen, der mit dieser Zahl endet (und der in Abhängigkeit von der Variablen, die definiert wird, ein Bereich mit 1 oder 0 als seine Untergrenze oder ein Bereich ohne Untergrenze sein kann). Zum Beispiel bedeutet „höchstens 4“ 4 oder weniger als 4, und „höchstens 40 %“ bedeutet 40 % oder weniger als 40 %. Wenn in dieser Spezifikation ein Bereich als „(erste Zahl) bis (zweite Zahl)“ oder „(erste Zahl) - (zweite Zahl)“ angegeben ist, bezieht sich dies auf einen Bereich, dessen Untergrenze die erste Zahl ist und dessen Obergrenze die zweite Zahl ist. Zum Beispiel bezieht sich 25 bis 100 mm auf einen Bereich, dessen Untergrenze 25 mm ist und dessen Obergrenze 100 mm ist.As used in this summary, the description below, the claims below, and the accompanying drawings, the term "at least" followed by a number is used to denote the beginning of a range that begins with that number (and which, depending on the variable being defined, may be a range with an upper limit or no upper limit). For example, "at least 1" means 1 or more than 1. The term "at most" followed by a number is used to denote the end of a range that ends with that number (and which, depending on the variable being defined, may be a range with 1 or 0 as its lower limit or a range with no lower limit). For example, "at most 4" means 4 or less than 4, and "at most 40%" means 40% or less than 40%. In this specification, when a range is given as "(first number) to (second number)" or "(first number) - (second number)", it refers to a range whose lower limit is the first number and whose upper limit is the second number. For example, 25 to 100 mm refers to a range whose lower limit is 25 mm and whose upper limit is 100 mm.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „flüchtiger Speicher“ auf jede Art von Computerspeicher, bei der die Inhalte des Speichers verloren gehen, wenn der Computer nicht mit Energie versorgt wird. Direktzugriffsspeicher (RAM) ist ein Beispiel einer solchen Art eines flüchtigen Speichers. Wie in der vorstehenden Zusammenfassung, in dieser Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „nichtflüchtiger Speicher“ oder der Begriff „nicht-transitorisches computerlesbares Medium“ auf jede Art von Computerspeicher, bei der die Inhalte des Speichers bewahrt werden, auch wenn der Computer nicht mit Energie versorgt wird. Festplatten- und Festkörperlaufwerke (SSD) sind Beispiele für Arten eines nichtflüchtigen Speichers oder eines nicht-transitorischen Mediums.As used in this summary, the description below, the claims below, and the accompanying drawings, the term "volatile memory" refers to any type of computer memory in which the contents of the memory are lost when power is not supplied to the computer. Random access memory (RAM) is an example of such a type of volatile memory. As used in the summary above, the description, the claims below, and the accompanying drawings, the term "non-volatile memory" or the term "non-transitory computer-readable medium" refers to any type of computer memory in which the contents of the memory are preserved even when power is not supplied to the computer. Hard disk drives and solid state drives (SSDs) are examples of types of non-volatile memory or non-transitory medium.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „System für maschinelles Lernen“ auf ein Computersystem, das ohne direkte Programmieranweisungen zum Lernen in der Lage ist. Ein System für maschinelles Lernen wendet statistische Modellierung basierend auf Dateneingabe und ohne direkte Programmieranweisungen an, um Muster zu erkennen und die Leistung zu verbessern. Ein System für maschinelles Lernen baut durch einen Trainings- oder Lernprozess, der das Eingeben von Daten in das System für maschinelles Lernen umfasst, ein statistisches Modell auf. Die vier Grundkategorien von Lernprozessen sind überwachtes Lernen unter Verwendung gekennzeichneter Datensätze, unüberwachtes Lernen unter Verwendung nicht gekennzeichneter Datensätze, halbüberwachtes Lernen unter Verwendung einer Mischung aus gekennzeichneten Datensätzen und nicht gekennzeichneten Datensätzen und Verstärkungslernen, das Lernen durch Versuch und Irrtum umfasst. Entscheidungsbaum, Stützvektormaschine und neuronales Netzwerk sind Beispiele für Arten von Systemen für maschinelles Lernen.As used in this abstract, the description below, the claims that follow, and the accompanying drawings, the term "machine learning system" refers to a computer system capable of learning without direct programming instructions. A machine learning system applies statistical modeling based on data input and without direct programming instructions to recognize patterns and improve performance. A machine learning system builds a statistical model through a training or learning process that involves inputting data into the machine learning system. The four basic categories of learning processes are supervised learning using labeled data sets, unsupervised learning using unlabeled data sets, semi-supervised learning using a mix of labeled data sets and unlabeled data sets, and reinforcement learning which involves learning by trial and error. Decision tree, support vector machine, and neural network are examples of types of machine learning systems.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „neuronales Netzwerk“ oder der Begriff künstliches neuronales Netzwerk auf eine Art von Algorithmus für maschinelles Lernen, die ein Netz von Knoten, Kanten und Schichten verwendet. Die erste Schicht eines neuronalen Netzwerks umfasst Eingabeknoten, die Dateneingaben aus einem Datensatz annehmen. Die Eingabeknoten senden dann Informationen über die Kanten an die Knoten in der nächsten Schicht. Jede Kante weist eine Aktivierungsfunktion auf die, während eines Trainingsprozesses veränderbar ist. Die letzte Schicht des neuronalen Netzwerks weist die Ausgabeknoten auf, die Datenausgaben des neuronalen Netzwerks bereitstellen. Während des Trainingsprozesses werden die Datenausgaben des neuronalen Netzwerks mit den tatsächlichen Ausgaben des Datensatzes verglichen. Die Differenzen zwischen den Datenausgaben des neuronalen Netzwerks und den tatsächlichen Ausgaben des Datensatzes werden gemessen und als Fehlerwert bezeichnet. Der Fehlerwert wird dann in das neuronale Netzwerk zurückgeführt, was seine Aktivierungsfunktionen ändert, um den Fehlerwert zu minimieren. Der Trainingsprozess ist ein iterativer Prozess. Nach dem Trainieren des neuronalen Netzwerks kann das trainierte neuronale Netzwerk dann zum Vorhersagen einer Datenausgabe aus einer spezifischen Dateneingabe verwendet werden. Ein LSTM-Netzwerk ist ein Beispiel für eine Art eines künstliches neuronalen Netzwerks.As used in this abstract, the description below, the claims that follow, and the accompanying drawings, the term "neural network" or the term artificial neural network refers to a type of machine learning algorithm that uses a network of nodes, edges, and layers. The first layer of a neural network includes input nodes that accept data inputs from a data set. The input nodes then send information about the edges to the nodes in the next layer. Each edge has an activation function that is changeable during a training process. The final layer of the neural network has the output nodes that provide data outputs of the neural network. During the training process, the data outputs of the neural network are compared with the actual outputs of the data set. The differences between the data outputs of the neural network and the actual outputs of the data set are measured and called the error value. The error value is then fed back into the neural network, which changes its activation functions to minimize the error value. The training process is an iterative process. After training the neural network, the trained neural network can then be used to predict a data output from a specific data input. An LSTM network is an example of a type of artificial neural network.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „Objekt, das erkannt wird“ oder „erkanntes Objekt“ auf ein Objekt, das zum Beispiel von einem Sensor, etwa einem Ultraschallsensor, Objekt- und Entfernungssensoren oder einer Kamera, zu einem spezifischen Zeitpunkt, zum Beispiel in einem spezifischen Bild eines Videos, erkannt wurde. Infolgedessen würde sich ein aktuell erkanntes Objekt auf ein Objekt beziehen, das zu dem spezifischen Zeitpunkt, zum Beispiel in dem spezifischen Bild des Videos, erkannt wurde. Demnach würde sich ein vorher erkanntes Objekt auf ein Objekt beziehen, das vor dem spezifischen Zeitpunkt, zum Beispiel in dem vorherigen Bild des Videos, erkannt wurde. Daher würde sich ein neu erkanntes Objekt auf ein Objekt beziehen, das gerade zu dem spezifischen Zeitpunkt und nicht vor dem spezifischen Zeitpunkt erkannt wurde, da das neu erkannte Objekt zum Beispiel gerade eben in das Sichtfeld einer Kamera eingetreten ist.As set forth in this summary, the following description, the following claims, and the accompanying drawings As used herein, the term “object being detected” or “detected object” refers to an object that was detected, for example, by a sensor, such as an ultrasonic sensor, object and distance sensors, or a camera, at a specific time, for example in a specific frame of a video. Consequently, a currently detected object would refer to an object that was detected at the specific time, for example in the specific frame of the video. Accordingly, a previously detected object would refer to an object that was detected before the specific time, for example in the previous frame of the video. Therefore, a newly detected object would refer to an object that was just detected at the specific time and not before the specific time, because the newly detected object has, for example, just entered the field of view of a camera.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „Pfad“ auf einen Platzhalter, der in einem Objektverfolgungsdatenassoziationsmodul umfasst ist und der zur Verknüpfung mit einem erkannten Objekt verwendet werden kann. Infolgedessen können Daten, die mit einem erkannten Objekt assoziiert sind, mit einem Pfad verknüpft werden. Demnach können nicht nur Daten, die mit einem erkannten Objekt verknüpft sind und die aktuell erhalten werden, zu einem spezifischen Zeitpunkt mit einem Pfad verknüpft werden, sondern es können auch vorher erhaltene Daten, die mit dem erkannten Objekt verknüpft sind, oder vorhergesagte Daten, die mit dem erkannten Objekt verknüpft sind, mit dem Pfad verknüpft werden. Ein aktiver Pfad würde mit einem vorher erkannten Objekt assoziiert werden und ein inaktiver Pfad würde entweder mit einem nicht erkannten Objekt oder einem neu erkannten Objekt assoziiert werden.As used in this summary, the description below, the claims below, and the accompanying drawings, the term "path" refers to a placeholder included in an object tracking data association module that can be used to associate with a detected object. As a result, data associated with a detected object can be associated with a path. Thus, not only can data associated with a detected object that is currently obtained be associated with a path at a specific time, but previously obtained data associated with the detected object or predicted data associated with the detected object can also be associated with the path. An active path would be associated with a previously detected object, and an inactive path would be associated with either an undetected object or a newly detected object.

Wie in dieser Zusammenfassung, in der nachstehenden Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen verwendet, bezieht sich der Begriff „Prozessor“ auf eine Computerkomponente, die dazu ausgebildet ist, Berechnungen durchzuführen, Entscheidungen zu treffen, Anweisungen auszuführen, Daten zu verarbeiten oder andere Computerkomponenten zu steuern. Eine zentrale Verarbeitungseinheit (CPU) und eine Grafikverarbeitungseinheit (GPU) sind Beispiele von Arten von Prozessoren.As used in this summary, the description below, the claims that follow, and the accompanying drawings, the term "processor" refers to a computer component configured to perform computations, make decisions, execute instructions, process data, or control other computer components. A central processing unit (CPU) and a graphics processing unit (GPU) are examples of types of processors.

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

Diese und andere Merkmale, Aspekte und Vorteile werden unter Bezugnahme auf die folgende Beschreibung, die angehängten Ansprüche und die beigefügten Zeichnungen besser verständlich. Es zeigen:

  • 1 ein Objektverfolgungsmodul, das funktionell mit einem Sensormodul verbunden ist;
  • 2 ein Objektverfolgungsdatenassoziationsmodul;
  • 3 eine Differenzparametertabelle, die Werte von Differenzparametern aufweist;
  • 4 eine Existenzwahrscheinlichkeitstabelle, die Werte von Existenzwahrscheinlichkeitsparametern aufweist;
  • 5 ein Kraftfahrzeug, das das Objektverfolgungsdatenassoziationsmodul von 2 aufweist; und
  • 6 ein Diagramm für ein Verfahren zur Assoziation von Objektverfolgungsdaten.
These and other features, aspects and advantages will be better understood by reference to the following description, the appended claims and the accompanying drawings, in which:
  • 1 an object tracking module operatively connected to a sensor module;
  • 2 an object tracking data association module;
  • 3 a difference parameter table containing values of difference parameters;
  • 4 an existence probability table containing values of existence probability parameters;
  • 5 a motor vehicle that uses the object tracking data association module of 2 and
  • 6 a diagram for a method for associating object tracking data.

In den Zeichnungen sind gleiche Teile durch gleiche Bezugszeichen gekennzeichnet.In the drawings, like parts are identified by like reference numerals.

BESCHREIBUNGDESCRIPTION

In der vorstehenden Zusammenfassung, in dieser Beschreibung, in den nachfolgenden Ansprüchen und in den beiliegenden Zeichnungen wird auf spezifische Merkmale (einschließlich Verfahrensschritte) der Erfindung Bezug genommen. Es versteht sich, dass die Offenbarung der Erfindung in dieser Spezifikation alle möglichen Kombinationen solcher spezifischer Merkmale umfasst. Wenn zum Beispiel ein spezifisches Merkmal im Kontext eines spezifischen Aspekts oder einer spezifischen Ausführungsform der Erfindung oder eines spezifischen Anspruchs offenbart wird, kann dieses Merkmal auch in Kombination mit und/oder im Kontext von anderen spezifischen Aspekten und Ausführungsformen der Erfindung und in den Erfindungen im Allgemeinen verwendet werden, soweit möglich.In the foregoing summary, in this description, in the following claims, and in the accompanying drawings, reference is made to specific features (including method steps) of the invention. It is to be understood that the disclosure of the invention in this specification includes all possible combinations of such specific features. For example, where a specific feature is disclosed in the context of a specific aspect or embodiment of the invention or a specific claim, that feature may also be used in combination with and/or in the context of other specific aspects and embodiments of the invention and in the inventions generally, where possible.

1 zeigt ein Objektverfolgungsmodul 102, das funktionell mit einem Sensormodul 104 verbunden ist. Das Objektverfolgungsmodul 102 kann ein Objektverfolgungsdatenassoziationsmodul 100 und eine Schätzeinrichtung, beispielsweise ein Kalman-Filter 106, aufweisen, das optional in einer Rückkopplungsschleife angeschlossen ist. Das Sensormodul 104 kann mindestens einen Sensor, beispielsweise einen Ultraschallsensor, Objekt- und Entfernungssensoren oder eine Kamera, aufweisen. Das Sensormodul 104 ist dazu ausgebildet, Sensormessdaten zu erhalten und die Sensormessdaten für das Objektverfolgungsmodul 102 bereitzustellen. 1 shows an object tracking module 102 that is operatively connected to a sensor module 104. The object tracking module 102 may include an object tracking data association module 100 and an estimator, such as a Kalman filter 106, optionally connected in a feedback loop. The sensor module 104 may include at least one sensor, such as an ultrasonic sensor, object and distance sensors, or a camera. The sensor module 104 is configured to receive sensor measurement data and to provide the sensor measurement data to the object tracking module 102.

2 zeigt das Objektverfolgungsdatenassoziationsmodul 100, das eine Pfaddatenabrufeinrichtung 110, eine Sensormessdatenabrufeinrichtung 112, eine Sensorzuverlässigkeitswert-Abrufeinrichtung 114, eine Differenzparameterbestimmungseinrichtung 120, eine Existenzwahrscheinlichkeitsbestimmungseinrichtung 130, einen Schwellenwertkomparator 140 und eine Entscheidereinrichtung 142 aufweist. 2 shows the object tracking data association module 100, which includes a path data retrieval device 110, a sensor measurement data retrieval device 112, a sensor reliability value Retrieval device 114, a difference parameter determination device 120, an existence probability determination device 130, a threshold comparator 140 and a decision device 142.

Die Sensormessdatenabrufeinrichtung 112 ist dazu ausgebildet, Sensormessdaten zu erhalten, die mit mindestens einem Objekt assoziiert sind, das vom Sensormodul 104 erkannt wird. Sensormessdaten, die mit jedem Objekt assoziiert sind, das zu einem spezifischen Zeitpunkt, zum Beispiel in dem spezifischen Bild des Videos, erkannt wird, kann in einem jeweiligen Sensormessdatensatz enthalten sein. Ein Sensormessdatensatz kann mindestens eines von Positionsdaten, Geschwindigkeitsdaten oder Beschleunigungsdaten aufweisen. Ein Sensormessdatensatz würde außerdem mit einem Pfad assoziiert sein. Infolgedessen kann jeder Pfad, der mit einem jeweiligen erkannten Objekt assoziiert ist, mehr als einen Messdatensatz aufweisen, da mehr als ein Sensor das gleiche Objekt erkannt haben können. Daher ist die Sensormessdatenabrufeinrichtung 112 dazu ausgebildet, mindestens einen Sensormessdatensatz für mindestens einen Pfad bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist.The sensor measurement data retriever 112 is configured to obtain sensor measurement data associated with at least one object detected by the sensor module 104. Sensor measurement data associated with each object detected at a specific time, for example in the specific frame of the video, may be included in a respective sensor measurement data set. A sensor measurement data set may include at least one of position data, velocity data, or acceleration data. A sensor measurement data set would also be associated with a path. As a result, each path associated with a respective detected object may include more than one measurement data set, since more than one sensor may have detected the same object. Therefore, the sensor measurement data retriever 112 is configured to provide at least one sensor measurement data set for at least one path associated with at least one detected object.

Die Pfaddatenabrufeinrichtung 110 ist dazu ausgebildet, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist. Jeder Pfaddatensatz kann mindestens eines von Positionsdaten, Geschwindigkeitsdaten oder Beschleunigungsdaten aufweisen, die mit dem jeweiligen erkannten Objekt assoziiert sind. Ein Pfaddatensatz kann entweder einen aktiven Pfaddatensatz, der mit einem aktiven Pfad assoziiert ist, oder einen inaktiven Pfaddatensatz aufweisen, der mit einem inaktiven Pfad assoziiert ist. Die Pfaddatenabrufeinrichtung 110 ist dazu ausgebildet, mindestens einen Pfaddatensatz bereitzustellen, der einen aktiven Pfaddatensatz eines aktiven Pfads aufweist, der mit einem vorher erkannten Objekt assoziiert ist. Die Pfaddatenabrufeinrichtung 110 ist außerdem dazu ausgebildet, mindestens einen Pfaddatensatz bereitzustellen, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist.The path data retrieval device 110 is configured to provide at least one path data set of at least one path associated with at least one detected object. Each path data set may include at least one of position data, velocity data, or acceleration data associated with the respective detected object. A path data set may include either an active path data set associated with an active path or an inactive path data set associated with an inactive path. The path data retrieval device 110 is configured to provide at least one path data set including an active path data set of an active path associated with a previously detected object. The path data retrieval device 110 is also configured to provide at least one path data set including an inactive path data set of an inactive path associated with a newly detected object.

Die Sensorzuverlässigkeitswert-Abrufeinrichtung 114 ist dazu ausgebildet, einen jeweiligen Sensorzuverlässigkeitsparameter zu erhalten, der mit jedem Sensor assoziiert ist, der zum Bereitstellen von Sensormessdaten verwendet wird. Ein Sensor kann zum Beispiel einen Sensorzuverlässigkeitsparameter aufweisen, der von seinem Hersteller bereitgestellt oder aus Tests erhalten wird, die an dem Sensor zur Bestimmung seiner Erkennungszuverlässigkeit durchgeführt werden. Infolgedessen ist die Sensorzuverlässigkeitswert-Abrufeinrichtung 114 dazu ausgebildet, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um mindestens einen Sensormessdatensatz für mindestens einen Pfad bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist.The sensor reliability value retriever 114 is configured to obtain a respective sensor reliability parameter associated with each sensor used to provide sensor measurement data. For example, a sensor may have a sensor reliability parameter provided by its manufacturer or obtained from tests performed on the sensor to determine its detection reliability. As a result, the sensor reliability value retriever 114 is configured to obtain at least one sensor reliability parameter associated with at least one sensor used to provide at least one sensor measurement data set for at least one path associated with at least one detected object.

Die Differenzparameterbestimmungseinrichtung 120 weist ein Exponentialfunktionsmodul 122 und eine Korrelationsparameterbestimmungseinrichtung 124 auf, die einen statistischen Abstandsrechner 126 aufweist, die einen Mahalanobis-Abstandsrechner 128 aufweist.The difference parameter determination device 120 has an exponential function module 122 and a correlation parameter determination device 124 which has a statistical distance calculator 126 which has a Mahalanobis distance calculator 128.

Die Differenzparameterbestimmungseinrichtung 120 ist dazu ausgebildet, mindestens einen Differenzparameter zu bestimmen, der eine Beziehung zwischen mindestens einem Sensormessdatensatz und mindestens einem Pfaddatensatz mindestens eines Pfads definiert, der mit mindestens einem erkannten Objekt assoziiert ist.The difference parameter determination device 120 is configured to determine at least one difference parameter that defines a relationship between at least one sensor measurement data set and at least one path data set of at least one path associated with at least one detected object.

Ein Differenzparameter definiert eine Beziehung zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz eines entsprechenden Pfads, der mit einem erkannten Objekt assoziiert ist. Ein Differenzparameter kann unter Verwendung einer Differenzparametergleichung berechnet werden. Eine Differenzparametergleichung kann eine Exponentialfunktion aufweisen, die einen Exponenten aufweist, der einen Korrelationsparameter aufweisen kann, der eine Korrelation zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz definiert. Eine Differenzparametergleichung kann auch eine Exponentialfunktion aufweisen, die einen Exponenten aufweist, der ein negatives Vielfaches eines Korrelationsparameters aufweisen kann. Ein Korrelationsparameter kann statistisch berechnet werden. Ein Korrelationsparameter kann unter Verwendung einer Mahalanobis-Abstandsformel berechnet werden, derart dass der Korrelationsparameter einen Mahalanobis-Abstand zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz aufweist. Eine Differenzparametergleichung kann eine Exponentialfunktion aufweisen, die einen Exponenten aufweist, der einen Mahalanobis-Abstand zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz aufweisen kann. Eine Differenzparametergleichung kann auch eine Exponentialfunktion aufweisen, die einen Exponenten aufweist, der ein negatives Vielfaches eines Mahalanobis-Abstands zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz aufweisen kann. Ein Differenzparameter kann durch Subtrahieren eines Wertes der Exponentialfunktion von eins berechnet werden.A difference parameter defines a relationship between each sensor measurement data set and a respective path data set of a corresponding path associated with a detected object. A difference parameter may be calculated using a difference parameter equation. A difference parameter equation may include an exponential function having an exponent that may include a correlation parameter that defines a correlation between each sensor measurement data set and a respective path data set. A difference parameter equation may also include an exponential function having an exponent that may include a negative multiple of a correlation parameter. A correlation parameter may be calculated statistically. A correlation parameter may be calculated using a Mahalanobis distance formula such that the correlation parameter includes a Mahalanobis distance between each sensor measurement data set and a respective path data set. A difference parameter equation may include an exponential function having an exponent that may include a Mahalanobis distance between each sensor measurement data set and a respective path data set. A difference parameter equation may also include an exponential function having an exponent that may be a negative multiple of a Mahalanobis distance between each sensor measurement data set and a respective path data set. A difference parameter may be calculated by subtracting a value of the exponential function from one.

Das Exponentialfunktionsmodul 122 ist zum Durchführen von Berechnungen unter Verwendung von Exponentialfunktionen ausgebildet. Die Differenzparameterbestimmungseinrichtung 120 ist dazu ausgebildet, das Exponentialfunktionsmodul 122 zu verwenden, um einen Differenzparameter unter Verwendung einer Exponentialfunktion zu berechnen. Die Korrelationsparametergleichung 124 ist dazu ausgebildet, einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen jedem Sensormessdatensatz und einem jeweiligen Pfaddatensatz definiert. Der statistische Abstandsrechner 126 ist zum statistischen Berechnen eines Korrelationsparameters ausgebildet. Der Mahalanobis-Abstandsrechner 128 ist dazu ausgebildet, einen Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel zu berechnen, wobei jeder Korrelationsparameter einen Mahalanobis-Abstand zwischen einem jeweiligen Sensormessdatensatz und einem entsprechenden Pfaddatensatz aufweist.The exponential function module 122 is for performing calculations using of exponential functions. The difference parameter determination device 120 is configured to use the exponential function module 122 to calculate a difference parameter using an exponential function. The correlation parameter equation 124 is configured to determine a correlation parameter that defines a correlation between each sensor measurement data set and a respective path data set. The statistical distance calculator 126 is configured to statistically calculate a correlation parameter. The Mahalanobis distance calculator 128 is configured to calculate a correlation parameter using a Mahalanobis distance formula, wherein each correlation parameter has a Mahalanobis distance between a respective sensor measurement data set and a corresponding path data set.

Ein Korrelationsparameter, CP, kann unter Verwendung einer Mahalanobis-Abstandsformel folgendermaßen berechnet werden: C P = ( m t ) T S 1 ( m t )

Figure DE112022002063T5_0001
wobei m ein Messdatenvektor ist, der Daten aus einem Sensormessdatensatz aufweist; t ein Pfaddatenvektor ist, der Daten aus einem Pfaddatensatz aufweist; und S eine Kovarianzmatrix von m und t ist. Ein unter Verwendung einer Mahalanobis-Abstandsformel berechneter CP wäre ein positive Zahl.A correlation parameter, CP, can be calculated using a Mahalanobis distance formula as follows: C P = ( m t ) T S 1 ( m t )
Figure DE112022002063T5_0001
where m is a measurement data vector comprising data from a sensor measurement data set; t is a path data vector comprising data from a path data set; and S is a covariance matrix of m and t. A CP calculated using a Mahalanobis distance formula would be a positive number.

Eine Differenzparametergleichung kann wie folgt sein: D P = 1 a C P

Figure DE112022002063T5_0002
wobei a eine positive Zahl, beispielsweise die Eulersche Zahl, ist; und CP ein Korrelationsparameter ist.A difference parameter equation can be as follows: D P = 1 a C P
Figure DE112022002063T5_0002
where a is a positive number, for example Euler's number; and CP is a correlation parameter.

-CP ist ein Beispiel für einen Exponenten, der sich zum Berechnen eines Differenzparameters eignet, und demnach ist a^{-CP}ein Beispiel für eine Exponentialfunktion, die sich zum Berechnen eines Differenzparameters eignet. Außerdem kann CP unter Verwendung einer Mahalanobis-Abstandsformel statistisch berechnet werden. Da CP eine positive Zahl ist, wäre -CP eine negative Zahl.-CP is an example of an exponent suitable for calculating a difference parameter, and thus a^{-CP} is an example of an exponential function suitable for calculating a difference parameter. In addition, CP can be calculated statistically using a Mahalanobis distance formula. Since CP is a positive number, -CP would be a negative number.

Gäbe es nur einen Sensor und nur ein erkanntes Objekt, dann würde es nur einen Korrelationsparameter und dementsprechend nur einen Differenzparameter geben. Gäbe es mehr als einen Sensor und/oder mehr als ein erkanntes Objekt, dann würde es mehr als einen Korrelationsparameter und dementsprechend mehr als einen Differenzparameter geben. In diesem Fall können Werte der Differenzparameter in einer Differenzparametermatrix oder einer Differenzparametertabelle 150, wie in 3 dargestellt, bereitgestellt werden.If there were only one sensor and only one detected object, then there would be only one correlation parameter and accordingly only one difference parameter. If there were more than one sensor and/or more than one detected object, then there would be more than one correlation parameter and accordingly more than one difference parameter. In this case, values of the difference parameters can be stored in a difference parameter matrix or a difference parameter table 150, as in 3 presented, provided.

Eine Differenzparametertabelle 150 weist Werte von Differenzparametern auf. Eine Differenzparametertabelle 150 kann so viele Zeilen und so viele Spalten aufweisen, wie gewünscht und praktisch. Die erste Zeile von oben einer Differenzparametertabelle 150 weist Pfadexistenzwerte von Pfads auf. Jeder Pfad weist einen jeweiligen Pfadexistenzwert auf. Wenn ein Pfadexistenzwert eines Pfads über einem Pfadexistenzschwellenwert ist, wäre der Pfad ein aktiver Pfad. Wenn ein Pfadexistenzwert eines Pfads unter einem Pfadexistenzschwellenwert ist, wäre der Pfad ein inaktiver Pfad. Die erste Spalte von links einer Differenzparametertabelle 150 weist Werte von Sensorzuverlässigkeitsparametern auf, die mit Sensoren assoziiert sind, die zum Bereitstellen von Sensormessdaten von Pfads verwendet werden, die mit erkannten Objekten assoziiert sind. Jede Zeile außer der ersten Zeile von oben einer Differenzparametertabelle 150 stellt einen Messversuch durch einen Sensor zu einem spezifischen Zeitpunkt dar. Ferner kann ein Sensor mehr als einen Messversuch zu einem spezifischen Zeitpunkt unternehmen. Außerdem kann mehr als ein Objekt in einem Messversuch erkannt werden. Infolgedessen würde die erste Zelle von links jeder Zeile einen Wert eines Sensorzuverlässigkeitsparameter eines Sensors aufweisen, der einen Messversuch unternimmt, der durch diese Zeile dargestellt ist. Daher wäre die oberste linke Zelle einer Differenzparametertabelle 150 leer, während alle anderen Zellen außer Zellen in der ersten Zeile von oben und der ersten Spalte von links Werte von Differenzparametern aufweisen würden.A difference parameter table 150 includes values of difference parameters. A difference parameter table 150 may have as many rows and as many columns as desired and practical. The first row from the top of a difference parameter table 150 includes path existence values of paths. Each path has a respective path existence value. If a path existence value of a path is above a path existence threshold, the path would be an active path. If a path existence value of a path is below a path existence threshold, the path would be an inactive path. The first column from the left of a difference parameter table 150 includes values of sensor reliability parameters associated with sensors used to provide sensor measurement data of paths associated with detected objects. Each row except the first row from the top of a difference parameter table 150 represents a measurement attempt by a sensor at a specific time. Further, a sensor may make more than one measurement attempt at a specific time. Additionally, more than one object may be detected in a measurement attempt. As a result, the first cell from the left of each row would have a value of a sensor reliability parameter of a sensor making a measurement attempt represented by that row. Therefore, the top left cell of a difference parameter table 150 would be empty, while all other cells except cells in the first row from the top and the first column from the left would have values of difference parameters.

Die Existenzwahrscheinlichkeitsbestimmungseinrichtung 130 kann ein System für maschinelles Lernen 132 aufweisen, das ein LSTM-Netzwerkmodul 134 aufweisen kann.The existence probability determiner 130 may include a machine learning system 132, which may include an LSTM network module 134.

Die Existenzwahrscheinlichkeitsbestimmungseinrichtung 130 ist dazu ausgebildet, mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für mindestens einen Pfad auszugeben, der mit mindestens einem erkannten Objekt assoziiert ist. Die Existenzwahrscheinlichkeitsbestimmungseinrichtung 130 ist dazu ausgebildet, die gleiche Anzahl von Existenzwahrscheinlichkeitsparametern wie die als Eingabe in die Existenzwahrscheinlichkeitsbestimmungseinrichtung 130 bereitgestellte Anzahl von Differenzparametern auszugeben. Wenn es also mehr als einen Differenzparameter für jeden Pfad gäbe, der mit einem jeweiligen erkannten Objekt assoziiert ist, würde die Existenzwahrscheinlichkeitsbestimmungseinrichtung 130 die mehr als einen Differenzparameter als Eingabe annehmen und eine entsprechende Anzahl von Existenzwahrscheinlichkeitsparametern ausgeben.The existence probability determination device 130 is configured to accept at least one difference parameter as input and to output at least one existence probability parameter for at least one path associated with at least one detected object. The existence probability determination device 130 is configured to output the same number of existence probability parameters as the number of difference parameters provided as input to the existence probability determination device 130. Thus, if there were more than one difference parameter for each path associated with a respective detected object, the existence probability determination device 130 would accept the more than one difference parameter as input and output a corresponding sufficient number of existence probability parameters.

Das System für maschinelles Lernen 132 ist dazu ausgebildet, mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für mindestens einen Pfad auszugeben, der mit mindestens einem erkannten Objekt assoziiert ist. Das System für maschinelles Lernen 132 ist dazu ausgebildet, die gleiche Anzahl von Existenzwahrscheinlichkeitsparametern wie die als Eingabe in das System für maschinelles Lernen 132 bereitgestellte Anzahl von Differenzparametern auszugeben. Wenn es also mehr als einen Differenzparameter für jeden Pfad gäbe, der mit einem jeweiligen erkannten Objekt assoziiert ist, würde das System für maschinelles Lernen 132 die mehr als einen Differenzparameter als Eingabe annehmen und eine entsprechende Anzahl von Existenzwahrscheinlichkeitsparametern ausgeben.The machine learning system 132 is configured to accept at least one difference parameter as input and output at least one existence probability parameter for at least one path associated with at least one detected object. The machine learning system 132 is configured to output the same number of existence probability parameters as the number of difference parameters provided as input to the machine learning system 132. Thus, if there were more than one difference parameter for each path associated with a respective detected object, the machine learning system 132 would accept the more than one difference parameter as input and output a corresponding number of existence probability parameters.

Das LSTM-Netzwerkmodul 134 ist dazu ausgebildet, mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für mindestens einen Pfad auszugeben, der mit mindestens einem erkannten Objekt assoziiert ist. Das LSTM-Netzwerkmodul 134 ist dazu ausgebildet, die gleiche Anzahl von Existenzwahrscheinlichkeitsparametern wie die als Eingabe in das LSTM-Netzwerkmodul 134 bereitgestellte Anzahl von Differenzparametern auszugeben. Wenn es also mehr als einen Differenzparameter für jeden Pfad gäbe, der mit einem jeweiligen erkannten Objekt assoziiert ist, würde das LSTM-Netzwerkmodul 134 die mehr als einen Differenzparameter als Eingabe annehmen und eine entsprechende Anzahl von Existenzwahrscheinlichkeitsparametern ausgeben. Das LSTM-Netzwerkmodul kann vorteilhafterweise trainiert werden, um zu ermöglichen, dass das Objektverfolgungsdatenassoziationsmodul zusammen mit der Schätzeinrichtung, beispielsweise dem Kalman-Filter 106, Ende-zu-Ende-Objektverfolgung mit Rückwärtspropagierung durchführt.The LSTM network module 134 is configured to accept at least one difference parameter as input and output at least one existence probability parameter for at least one path associated with at least one detected object. The LSTM network module 134 is configured to output the same number of existence probability parameters as the number of difference parameters provided as input to the LSTM network module 134. Thus, if there were more than one difference parameter for each path associated with a respective detected object, the LSTM network module 134 would accept the more than one difference parameter as input and output a corresponding number of existence probability parameters. The LSTM network module may advantageously be trained to enable the object tracking data association module, together with the estimator, e.g. the Kalman filter 106, to perform end-to-end object tracking with back propagation.

Werte in einer Differenzparametertabelle 150 können für das LSTM-Netzwerkmodul 134 bereitgestellt werden, und Werte von Existenzwahrscheinlichkeitsparametern, die erhalten werden, können dann in eine Existenzwahrscheinlichkeitsmatrix oder eine Existenzwahrscheinlichkeitstabelle 152, wie in 4 dargestellt, eingegeben werden.Values in a difference parameter table 150 may be provided to the LSTM network module 134, and values of existence probability parameters obtained may then be entered into an existence probability matrix or an existence probability table 152, as in 4 shown, entered.

Eine Existenzwahrscheinlichkeitstabelle 152 weist Werte von Existenzwahrscheinlichkeitsparametern auf. Eine Existenzwahrscheinlichkeitstabelle 152 kann so viele Zeilen und so viele Spalten aufweisen wie eine entsprechende Differenzparametertabelle 150. Die erste Zeile von oben einer Existenzwahrscheinlichkeitstabelle 152 weist Pfadexistenzwerte von Pfads auf. Jeder Pfad weist einen jeweiligen Pfadexistenzwert auf. Wenn ein Pfadexistenzwert eines Pfads über einem Pfadexistenzschwellenwert ist, wäre der Pfad ein aktiver Pfad. Wenn ein Pfadexistenzwert eines Pfads unter einem Pfadexistenzschwellenwert ist, wäre der Pfad ein inaktiver Pfad. Die erste Spalte von links einer Existenzwahrscheinlichkeitstabelle 152 weist Werte von Sensorzuverlässigkeitsparametern auf, die mit Sensoren assoziiert sind, die zum Bereitstellen von Sensormessdaten von Pfads verwendet werden, die mit erkannten Objekten assoziiert sind. Jede Zeile außer der ersten Zeile von oben einer Existenzwahrscheinlichkeitstabelle 152 stellt einen Messversuch durch einen Sensor zu einem spezifischen Zeitpunkt dar. Ferner wäre die oberste linke Zelle einer Existenzwahrscheinlichkeitstabelle 152 leer, während alle anderen Zellen außer Zellen in der ersten Zeile von oben und der ersten Spalte von links Werte von Existenzwahrscheinlichkeitsparametern aufweisen würden.An existence probability table 152 includes values of existence probability parameters. An existence probability table 152 may have as many rows and as many columns as a corresponding difference parameter table 150. The first row from the top of an existence probability table 152 includes path existence values of paths. Each path has a respective path existence value. If a path existence value of a path is above a path existence threshold, the path would be an active path. If a path existence value of a path is below a path existence threshold, the path would be an inactive path. The first column from the left of an existence probability table 152 includes values of sensor reliability parameters associated with sensors used to provide sensor measurement data of paths associated with detected objects. Each row except the first row from the top of an existence probability table 152 represents a measurement attempt by a sensor at a specific time. Furthermore, the top left cell of an existence probability table 152 would be empty, while all other cells except cells in the first row from the top and the first column from the left would have values of existence probability parameters.

Der Schwellenwertkomparator 140 ist dazu ausgebildet, mindestens einen Existenzwahrscheinlichkeitsparameter eines Pfads mit einem Existenzschwellenwert zu vergleichen. Der Existenzschwellenwert kann jeder geeignete Wert sein, wie beispielsweise 0,5. Der Schwellenwertkomparator 140 ist außerdem dazu ausgebildet, einen Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert zu vergleichen. Der Sensorzuverlässigkeitsschwellenwert kann jeder geeignete Wert sein, wie beispielsweise 0,5. Der Schwellenwertkomparator 140 kann auch dazu ausgebildet sein, einen Differenzparameter mit einem Differenzschwellenwert zu vergleichen. Der Differenzschwellenwert kann jeder geeignete Wert sein, wie beispielsweise 0,5.The threshold comparator 140 is configured to compare at least one existence probability parameter of a path to an existence threshold. The existence threshold may be any suitable value, such as 0.5. The threshold comparator 140 is also configured to compare a sensor reliability parameter to a sensor reliability threshold. The sensor reliability threshold may be any suitable value, such as 0.5. The threshold comparator 140 may also be configured to compare a difference parameter to a difference threshold. The difference threshold may be any suitable value, such as 0.5.

Die Entscheidereinrichtung 142 ist dazu ausgebildet, eine Assoziation für einen aktiven Pfad durchzuführen, wenn ein Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist (zum Beispiel eines Pfads, der mit Spalte 3 assoziiert ist, und eines Pfads, der mit Spalte 6 der Existenzwahrscheinlichkeitstabelle 152 von 4 assoziiert ist). Die Entscheidereinrichtung 142 ist außerdem dazu ausgebildet, einen aktiven Pfad zu beenden, wenn ein Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter einem Existenzschwellenwert ist. Die Entscheidereinrichtung 142 kann auch dazu ausgebildet sein, einen aktiven Pfad zu beenden, wenn alle Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter einem Existenzschwellenwert sind (zum Beispiel eines Pfads, der mit Spalte 7 der Existenzwahrscheinlichkeitstabelle 152 von 4 assoziiert ist). Ferner ist die Entscheidereinrichtung 142 dazu ausgebildet, einen inaktiven Pfad auf einen aktiven Pfad zu initialisieren, wenn mindestens ein Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über einem Existenzschwellenwert ist (zum Beispiel eines Pfads, der mit Spalte 2 der Existenzwahrscheinlichkeitstabelle 152 von 4 assoziiert ist).The decision device 142 is designed to perform an association for an active path if an existence probability parameter of the active path is above the existence threshold (for example, a path associated with column 3 and a path associated with column 6 of the existence probability table 152 of 4 is associated). The decision device 142 is also designed to terminate an active path if an existence probability parameter of the active path is below an existence threshold. The decision device 142 may also be designed to terminate an active path if all existence probability parameters of the active path are below an existence threshold (for example, a path associated with column 7 of the existence probability table 152 of 4 Furthermore, the decision device 142 is designed to convert an inactive path to an active path to initialize if at least one existence probability parameter of the inactive path is above an existence threshold (for example, a path that matches column 2 of the existence probability table 152 of 4 associated with).

5 zeigt ein Kraftfahrzeug 108, das das Objektverfolgungsdatenassoziationsmodul 100 aufweist. 5 shows a motor vehicle 108 having the object tracking data association module 100.

6 zeigt ein Diagramm für ein Verfahren 200 zur Assoziation von Objektverfolgungsdaten, das das Objektverfolgungsdatenassoziationsmodul 100 verwendet. Die Handlungen oder Schritte des Verfahrens 200 zur Assoziation von Objektverfolgungsdaten können von einem Prozessor, beispielsweise einer zentralen Verarbeitungseinheit eines Computers, ausgeführt werden. 6 shows a diagram for a method 200 for associating object tracking data using the object tracking data association module 100. The acts or steps of the method 200 for associating object tracking data may be performed by a processor, such as a central processing unit of a computer.

Bei Schritt 202 initialisiert das Verfahren 200 zur Assoziation von Objektverfolgungsdaten. Bei Schritt 204 erkennt das Sensormodul 104 mindestens ein Objekt und erhält mindestens einen Sensormessdatensatz für jedes erkannte Objekt. Bei Schritt 206 wird der mindestens eine Sensormessdatensatz für jeden Pfad bereitgestellt, der mit einem jeweiligen erkannten Objekt assoziiert ist. Bei Schritt 208 wird mindestens ein Pfaddatensatz bereitgestellt, wobei jeder Pfaddatensatz eines jeweiligen Pfads mit einem entsprechenden erkannten Objekt assoziiert ist. Der mindestens eine Pfaddatensatz kann mindestens einen aktiven Pfaddatensatz aufweisen, wobei jeder aktive Pfaddatensatz eines jeweiligen aktiven Pfads mit einem entsprechenden vorher erkannten Objekt assoziiert ist. Der mindestens eine Pfaddatensatz kann mindestens einen inaktiven Pfaddatensatz aufweisen, wobei jeder inaktive Pfaddatensatz eines jeweiligen inaktiven Pfads mit einem entsprechenden neu erkannten Objekt assoziiert ist.At step 202, the method 200 initializes for associating object tracking data. At step 204, the sensor module 104 detects at least one object and obtains at least one sensor measurement data set for each detected object. At step 206, the at least one sensor measurement data set is provided for each path associated with a respective detected object. At step 208, at least one path data set is provided, wherein each path data set of a respective path is associated with a corresponding detected object. The at least one path data set may include at least one active path data set, wherein each active path data set of a respective active path is associated with a corresponding previously detected object. The at least one path data set may include at least one inactive path data set, wherein each inactive path data set of a respective inactive path is associated with a corresponding newly detected object.

Bei Schritt 210 wird mindestens ein Differenzparameter bestimmt, wobei jeder Differenzparameter eine Beziehung zwischen einem jeweiligen Sensormessdatensatz und einem entsprechenden Pfaddatensatz definiert. Der Prozess von Schritt 210 beginnt bei Schritt 212. Bei Schritt 214 wird mindestens ein Korrelationsparameter bestimmt, wobei jeder Korrelationsparameter eine Korrelation zwischen einem jeweiligen Sensormessdatensatz und einem entsprechenden Pfaddatensatz definiert. Bei Schritt 216 beginnt der Prozess von Schritt 214. Bei Schritt 218 wird jeder Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel berechnet, derart dass jeder Korrelationsparameter einen Mahalanobis-Abstand zwischen einem jeweiligen Sensormessdatensatz und einem entsprechenden Pfaddatensatz aufweist. Der Prozess von Schritt 214 endet bei Schritt 220.At step 210, at least one difference parameter is determined, each difference parameter defining a relationship between a respective sensor measurement data set and a corresponding path data set. The process of step 210 begins at step 212. At step 214, at least one correlation parameter is determined, each correlation parameter defining a correlation between a respective sensor measurement data set and a corresponding path data set. At step 216, the process of step 214 begins. At step 218, each correlation parameter is calculated using a Mahalanobis distance formula such that each correlation parameter has a Mahalanobis distance between a respective sensor measurement data set and a corresponding path data set. The process of step 214 ends at step 220.

Dann wird bei Schritt 222 ein jeweiliger Wert einer Exponentialfunktion berechnet, die einen Exponenten aufweist, der ein negatives Vielfaches jedes Korrelationsparameters aufweist. Bei Schritt 224 wird jeder Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins berechnet. Der Prozess von Schritt 210 endet bei Schritt 226.Then, at step 222, a respective value of an exponential function having an exponent that is a negative multiple of each correlation parameter is calculated. At step 224, each difference parameter is calculated by subtracting a value of the exponential function from one. The process of step 210 ends at step 226.

Bei Schritt 228 wird mindestens ein Existenzwahrscheinlichkeitsparameter bestimmt. Bei Schritt 230 beginnt der Prozess von Schritt 228. Bei Schritt 232 wird der mindestens eine Differenzparameter für das System für maschinelles Lernen 132, beispielsweise das LTSM-Netzwerkmodul 134, bereitgestellt. Das System für maschinelles Lernen 132 oder das LTSM-Netzwerkmodul 134 wären trainiert worden, um den mindestens einen Differenzparameter als Eingabe anzunehmen und einen jeweiligen Existenzwahrscheinlichkeitsparameter für jeden bereitgestellten Differenzparameter auszugeben. Infolgedessen gibt das System für maschinelles Lernen 132 oder das LTSM-Netzwerkmodul 134 bei Schritt 234 den mindestens einen Existenzwahrscheinlichkeitsparameter aus. Der Prozess von Schritt 228 endet bei Schritt 236.At step 228, at least one existence probability parameter is determined. At step 230, the process of step 228 begins. At step 232, the at least one difference parameter is provided to the machine learning system 132, such as the LTSM network module 134. The machine learning system 132 or the LTSM network module 134 would have been trained to accept the at least one difference parameter as input and output a respective existence probability parameter for each difference parameter provided. As a result, the machine learning system 132 or the LTSM network module 134 outputs the at least one existence probability parameter at step 234. The process of step 228 ends at step 236.

Bei Schritt 238 wird mindestens ein Sensorzuverlässigkeitsparameter erhalten, der mit mindestens einem Sensor assoziiert ist, der zum Bereitstellen des mindestens einen Sensormessdatensatzes verwendet wird. Bei Schritt 240 wird der mindestens eine Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert verglichen. Bei Schritt 242 wird der mindestens eine Existenzwahrscheinlichkeitsparameter mit einem Existenzschwellenwert verglichen.At step 238, at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set is obtained. At step 240, the at least one sensor reliability parameter is compared to a sensor reliability threshold. At step 242, the at least one existence probability parameter is compared to an existence threshold.

Bei Schritt 244 wird eine Assoziation für einen aktiven Pfad durchgeführt, wenn ein Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist. Infolgedessen würde in der Annahme, dass der Existenzschwellenwert 0,5 beträgt, ein Existenzwahrscheinlichkeitsparameter in Zeile 3, Spalte 3 der Existenzwahrscheinlichkeitstabelle von 4 mit einem Pfad (zum Beispiel Pfad 2) verknüpft, der mit Spalte 3 der Existenzwahrscheinlichkeitstabelle von 4 assoziiert ist, da ein Wert des Existenzwahrscheinlichkeitsparameters in Zeile 3, Spalte 3 über 0,5 ist.At step 244, an association is performed for an active path if an existence probability parameter of the active path is below the existence threshold. As a result, assuming that the existence threshold is 0.5, an existence probability parameter in row 3, column 3 of the existence probability table of 4 linked to a path (for example, path 2) that corresponds to column 3 of the existence probability table of 4 is associated because a value of the existence probability parameter in row 3, column 3 is above 0.5.

Bei Schritt 246 wird ein aktiver Pfad beendet, wenn ein Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist. Infolgedessen würde in der Annahme, dass der Existenzschwellenwert 0,5 beträgt, ein Pfad (zum Beispiel Pfad 6), der mit Spalte 7 der Existenzwahrscheinlichkeitstabelle von 4 assoziiert ist, beendet, da keiner der Existenzwahrscheinlichkeitsparameter des Pfads (zum Beispiel Pfad 6) einen Wert über 0,5 aufweist.At step 246, an active path is terminated if an existence probability parameter of the active path is below the existence threshold. As a result, assuming that the existence threshold is 0.5, a path (for example, path 6) matching column 7 of the existence probability table of 4 associated, terminated, since none of the existence probabilities parameter of the path (for example path 6) has a value greater than 0.5.

Bei Schritt 248 wird ein inaktiver Pfad auf einen aktiven Pfad initialisiert, wenn ein Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist. Infolgedessen würde in der Annahme, dass der Existenzschwellenwert 0,5 beträgt, ein Pfad (zum Beispiel Pfad 1), der mit Spalte 2 der Existenzwahrscheinlichkeitstabelle von 4 assoziiert ist, initialisiert, da ein Wert des Existenzwahrscheinlichkeitsparameters in Zeile 2, Spalte 2 über 0,5 ist.At step 248, an inactive path is initialized to an active path if an existence probability parameter of the inactive path is above the existence threshold. As a result, assuming that the existence threshold is 0.5, a path (for example, path 1) matching column 2 of the existence probability table of 4 is initialized because a value of the existence probability parameter in row 2, column 2 is above 0.5.

Bei Schritt 250 wird ein Sensormessdatensatz ignoriert, wenn ein Sensorzuverlässigkeitsparameter, der mit dem Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist. Infolgedessen würden in der Annahme, dass der Sensorzuverlässigkeitsschwellenwert 0,5 beträgt, alle Existenzwahrscheinlichkeitsparameter zusammen mit ihren entsprechenden Sensormessdatensätzen, die mit Zeile 3, 5, 7 und 8 der Existenzwahrscheinlichkeitstabelle von 4 assoziiert sind, ignoriert, da Werte der Sensorzuverlässigkeitsparameter in den ersten linken Zellen (in Spalte 1) der Zeilen 3, 5, 7 und 8 unter 0,5 sind.At step 250, a sensor measurement record is ignored if a sensor reliability parameter associated with the sensor measurement record is below the sensor reliability threshold. As a result, assuming that the sensor reliability threshold is 0.5, all existence probability parameters along with their corresponding sensor measurement records corresponding to rows 3, 5, 7, and 8 of the existence probability table of 4 are ignored because values of the sensor reliability parameters in the first left cells (in column 1) of rows 3, 5, 7 and 8 are below 0.5.

Bei Schritt 252 werden Existenzwahrscheinlichkeitsparameter von aktiven Pfads, die nicht beendet wurden, und initialisierte Pfads für die Schätzeinrichtung, beispielsweise das Kalman-Filter 106, bereitgestellt. Bei Schritt 254 würde die Schätzeinrichtung, beispielsweise das Kalman-Filter 106, dann einen jeweiligen Pfadexistenzwert für jeden aktiven Pfad, der nicht beendet wurde, und jeden initialisierten Pfad aktualisieren.At step 252, existence probability parameters of active paths that have not been completed and initialized paths are provided to the estimator, e.g., Kalman filter 106. At step 254, the estimator, e.g., Kalman filter 106, would then update a respective path existence value for each active path that has not been completed and each initialized path.

Bei Schritt 256 endet das Verfahren 200 zur Assoziation von Objektverfolgungsdaten. Es versteht sich jedoch, dass das Verfahren 200 zur Assoziation von Objektverfolgungsdaten, das in einer Mehrzahl von aufeinanderfolgenden Schritten in 6 veranschaulicht ist, lediglich das Verfahren 200 zur Assoziation von Objektverfolgungsdaten veranschaulicht, wie auf eine Erkennung zu einem spezifischen Zeitpunkt, zum Beispiel in einem spezifischen Bild eines Videos, angewendet. Infolgedessen kann Schritt 256 zu Schritt 202 zurückkehren, um das Verfahren 200 zur Assoziation von Objektverfolgungsdaten bei einer anderen Erkennung zu einem anderen Zeitpunkt nach dem spezifischen Zeitpunkt, zum Beispiel in einem nächsten Bild des Videos, erneut durchzuführen.At step 256, the method 200 for associating object tracking data ends. It is to be understood, however, that the method 200 for associating object tracking data, which is performed in a plurality of sequential steps in 6 merely illustrates the method 200 for associating object tracking data as applied to a detection at a specific time, for example, in a specific frame of a video. As a result, step 256 may return to step 202 to re-perform the method 200 for associating object tracking data upon another detection at a different time after the specific time, for example, in a next frame of the video.

Somit ist gemäß dem Verfahren 200 zur Assoziation von Objektverfolgungsdaten, das das Objektverfolgungsdatenassoziationsmodul 100 verwendet, nun eine effektive Durchführung von Datenassoziation zur Objektverfolgung möglich.Thus, according to the object tracking data association method 200 using the object tracking data association module 100, it is now possible to effectively perform object tracking data association.

Das LSTM-Netzwerkmodul 134 kann vor seiner Verwendung im Verfahren 200 zur Assoziation von Objektverfolgungsdaten trainiert werden. Um gekennzeichnete Datensätze zum Trainieren des LSTM-Netzwerkmoduls 134 zu erzeugen, können zuerst Werte der Differenzparameters eines Trainingssatzes erhalten werden, wie vorstehend beschrieben. Dann können Differenzparameter mit Werten, die in einen ersten Bereich, zum Beispiel 0 - 0,01, fallen, berücksichtigt werden, um mit Pfads verknüpft zu verwenden, die möglicherweise initialisiert werden können. The LSTM network module 134 may be trained prior to its use in the method 200 for associating object tracking data. To generate labeled data sets for training the LSTM network module 134, values of the difference parameters of a training set may first be obtained, as described above. Then, difference parameters having values falling within a first range, e.g., 0 - 0.01, may be considered for use in association with paths that may be initialized.

Zusätzlich können Differenzparameter mit Werten, die in einen zweiten Bereich, zum Beispiel 0,01 - 0,2, fallen, berücksichtigt werden, um mit Pfads verknüpft zu verwenden, für die Assoziation durchgeführt werden kann. Ferner können Differenzparameter mit Werten, die in einen dritten Bereich, zum Beispiel 0,2 - 1, fallen, berücksichtigt werden, um mit Pfads verknüpft zu verwenden, die möglicherweise beendet werden können. Infolgedessen kann ein Trainingssatz von gekennzeichneten Datensätzen zum Trainieren des LSTM-Netzwerkmoduls 134 erzeugt werden.Additionally, difference parameters having values falling within a second range, e.g., 0.01 - 0.2, may be considered for use in association with paths for which association may be performed. Further, difference parameters having values falling within a third range, e.g., 0.2 - 1, may be considered for use in association with paths for which association may be performed. As a result, a training set of labeled records may be generated for training the LSTM network module 134.

Obwohl die Erfindung in Bezug auf bestimmte Ausführungsformen oder Aspekte einigermaßen ausführlich beschrieben wurde, sind andere Ausführungsformen oder Aspekte möglich.Although the invention has been described in some detail with respect to particular embodiments or aspects, other embodiments or aspects are possible.

Daher sollten das Wesen und der Schutzbereich der angehängten Ansprüche nicht auf die Beschreibung der hierin enthaltenen Ausführungsformen beschränkt werden.Therefore, the spirit and scope of the appended claims should not be limited to the description of the embodiments contained herein.

Zum Beispiel kann der mindestens eine Sensorzuverlässigkeitsparameter in früheren Schritten in dem Verfahren 200 zur Assoziation von Objektverfolgungsdaten erhalten (Schritt 238) und verglichen (Schritt 240) werden.For example, the at least one sensor reliability parameter may be obtained (step 238) and compared (step 240) in earlier steps in the method 200 for associating object tracking data.

Alle Merkmale, die in dieser Spezifikation (einschließlich der angehängten Ansprüche, der Zusammenfassung und der beiliegenden Zeichnungen) offenbart sind, können durch alternative Merkmale ersetzt werden, die dem gleichen oder einem gleichwertigen oder ähnlichen Zweck dienen, sofern nicht ausdrücklich anders angegeben. Sofern nicht ausdrücklich anders angegeben, ist demnach jedes offenbarte Merkmal lediglich ein Beispiel einer generischen Reihe von gleichwertigen oder ähnlichen Merkmalen.All features disclosed in this specification (including the appended claims, abstract and accompanying drawings) may be replaced by alternative features serving the same or an equivalent or similar purpose, unless expressly stated otherwise. Accordingly, unless expressly stated otherwise, each feature disclosed is merely an example of a generic series of equivalent or similar features.

Claims (25)

Objektverfolgungsdatenassoziationsmodul (100), aufweisend: eine Pfaddatenabrufeinrichtung (110), die dazu ausgebildet ist, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist; eine Sensormessdatenabrufeinrichtung (112), die dazu ausgebildet ist, mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; und eine Differenzparameterbestimmungseinrichtung (120), die dazu ausgebildet ist, mindestens einen Differenzparameter zu bestimmen, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Differenzparameterbestimmungseinrichtung (120) ein Exponentialfunktionsmodul (122) aufweist, das zum Durchführen von Berechnungen unter Verwendung einer Exponentialfunktion ausgebildet ist, und die Differenzparameterbestimmungseinrichtung (120) dazu ausgebildet ist, das Exponentialfunktionsmodul (122) zum Berechnen des mindestens einen Differenzparameters unter Verwendung der Exponentialfunktion zu verwenden.Object tracking data association module (100), comprising: a path data retrieval device (110) configured to retrieve at least one path data set at least one path associated with at least one detected object; a sensor measurement data retrieval device (112) configured to provide at least one sensor measurement data set for the at least one path associated with the at least one detected object; and a difference parameter determination device (120) configured to determine at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object; wherein the difference parameter determination device (120) comprises an exponential function module (122) configured to perform calculations using an exponential function, and the difference parameter determination device (120) is configured to use the exponential function module (122) to calculate the at least one difference parameter using the exponential function. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 1, wobei die Differenzparameterbestimmungseinrichtung (120) eine Korrelationsparameterbestimmungseinrichtung (124) aufweist, die dazu ausgebildet ist, mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert.Object tracking data association module (100) according to Claim 1 , wherein the difference parameter determination device (120) has a correlation parameter determination device (124) which is designed to determine at least one correlation parameter which defines a correlation between the at least one sensor measurement data set and the at least one path data set. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 2, wobei die Differenzparameterbestimmungseinrichtung (120) einen statistischen Abstandsrechner (126) aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter statistisch zu berechnen.Object tracking data association module (100) according to Claim 2 , wherein the difference parameter determination device (120) has a statistical distance calculator (126) which is designed to statistically calculate the at least one correlation parameter. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 2 bis 3, wobei die Exponentialfunktion einen Exponenten aufweist, der den mindestens einen Korrelationsparameter aufweist.Object tracking data association module (100) according to one of the Claims 2 until 3 , wherein the exponential function has an exponent that has the at least one correlation parameter. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 4, wobei der Exponent ein negatives Vielfaches des mindestens einen Korrelationsparameters aufweist.Object tracking data association module (100) according to Claim 4 , wherein the exponent is a negative multiple of the at least one correlation parameter. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 2 bis 3, wobei die Differenzparameterbestimmungseinrichtung (120) einen Mahalanobis-Abstandsrechner (128) aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel zu berechnen, wobei der mindestens eine Korrelationsparameter einen Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Object tracking data association module (100) according to one of the Claims 2 until 3 , wherein the difference parameter determination device (120) comprises a Mahalanobis distance calculator (128) which is designed to calculate the at least one correlation parameter using a Mahalanobis distance formula, wherein the at least one correlation parameter comprises a Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 6, wobei die Exponentialfunktion einen Exponenten aufweist, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Object tracking data association module (100) according to Claim 6 , wherein the exponential function has an exponent that represents the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 7, wobei der Exponent ein negatives Vielfaches des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist.Object tracking data association module (100) according to Claim 7 , wherein the exponent is a negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set. Objektverfolgungsdatenassoziationsmodul (100) nach einem der vorhergehenden Ansprüche, wobei die Differenzparameterbestimmungseinrichtung (120) dazu ausgebildet ist, den mindestens einen Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins zu berechnen.Object tracking data association module (100) according to one of the preceding claims, wherein the difference parameter determination device (120) is configured to calculate the at least one difference parameter by subtracting a value of the exponential function from one. Objektverfolgungsdatenassoziationsmodul (100) nach einem der vorhergehenden Ansprüche, ferner aufweisend eine Existenzwahrscheinlichkeitsbestimmungseinrichtung (130), die dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.Object tracking data association module (100) according to one of the preceding claims, further comprising an existence probability determination device (130) configured to accept the at least one difference parameter as input and to output at least one existence probability parameter for the at least one path associated with the at least one detected object. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 10, wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung (130) ein System für maschinelles Lernen (132) aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.Object tracking data association module (100) according to Claim 10 , wherein the existence probability determination device (130) comprises a machine learning system (132) configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 10 bis 11, wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung (130) ein LSTM-Netzwerkmodul (134) aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist.Object tracking data association module (100) according to one of the Claims 10 until 11 , wherein the existence probability determination device (130) comprises an LSTM network module (134) configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 10 bis 12, wobei die Pfaddatenabrufeinrichtung (110) dazu ausgebildet ist, mindestens einen Pfaddatensatz bereitzustellen, der einen aktiven Pfaddatensatz eines aktiven Pfads aufweist, der mit einem vorher erkannten Objekt assoziiert ist.Object tracking data association module (100) according to one of the Claims 10 until 12 , wherein the path data retrieval device (110) is configured to provide at least one path data set comprising an active path data set of an active path associated with a previously detected object. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 10 bis 13, wobei die Pfaddatenabrufeinrichtung (110) dazu ausgebildet ist, den mindestens einen Pfaddatensatz bereitzustellen, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist.Object tracking data association module (100) according to one of the Claims 10 until 13 , wherein the path data retrieval device (110) is configured to provide the at least one path data set comprising an inactive path data set of an inactive path associated with a newly recognized object. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 13 bis 14, ferner aufweisend einen Schwellenwertkomparator (140), der dazu ausgebildet ist, den mindestens einen Existenzwahrscheinlichkeitsparameter des mindestens einen Pfads mit einem Existenzschwellenwert zu vergleichen.Object tracking data association module (100) according to one of the Claims 13 until 14 , further comprising a threshold comparator (140) configured to compare the at least one existence probability parameter of the at least one path with an existence threshold. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 15, ferner aufweisend eine Entscheidereinrichtung (142), die dazu ausgebildet ist, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist.Object tracking data association module (100) according to Claim 15 , further comprising a decision device (142) which is designed to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 15, ferner aufweisend eine Entscheidereinrichtung (142), die dazu ausgebildet ist, den aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist.Object tracking data association module (100) according to Claim 15 , further comprising a decision device (142) which is designed to terminate the active path if the at least one existence probability parameter of the active path is below the existence threshold. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 15, ferner aufweisend eine Entscheidereinrichtung (142), die dazu ausgebildet ist, den inaktiven Pfad auf einen anderen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist.Object tracking data association module (100) according to Claim 15 , further comprising a decision device (142) which is designed to initialize the inactive path to another active path if the at least one existence probability parameter of the inactive path is above the existence threshold. Objektverfolgungsdatenassoziationsmodul (100) nach einem der Ansprüche 1 bis 14, ferner aufweisend eine Sensorzuverlässigkeitswert-Abrufeinrichtung (114), die dazu ausgebildet ist, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um den mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist.Object tracking data association module (100) according to one of the Claims 1 until 14 , further comprising a sensor reliability value retrieval device (114) configured to obtain at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set for the at least one path associated with the at least one detected object. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 19, ferner aufweisend einen Schwellenwertkomparator (140), der dazu ausgebildet ist, den mindestens einen Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert zu vergleichen.Object tracking data association module (100) according to Claim 19 , further comprising a threshold comparator (140) configured to compare the at least one sensor reliability parameter with a sensor reliability threshold. Objektverfolgungsdatenassoziationsmodul (100) nach Anspruch 20, ferner aufweisend eine Entscheidereinrichtung (142), die dazu ausgebildet ist, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist.Object tracking data association module (100) according to Claim 20 , further comprising a decision device (142) configured to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold. Objektverfolgungsmodul (102), aufweisend das Objektverfolgungsdatenassoziationsmodul (100) nach einem der vorhergehenden Ansprüche.Object tracking module (102) comprising the object tracking data association module (100) according to any one of the preceding claims. Kraftfahrzeug (108), aufweisend das Objektverfolgungsdatenassoziationsmodul (100) nach einem der vorhergehenden Ansprüche.Motor vehicle (108) comprising the object tracking data association module (100) according to one of the preceding claims. Objektverfolgungsdatenassoziationsmodul (100) nach einem der vorhergehenden Ansprüche, aufweisend: eine Pfaddatenabrufeinrichtung (110), die dazu ausgebildet ist, mindestens einen Pfaddatensatz mindestens eines Pfads bereitzustellen, der mit mindestens einem erkannten Objekt assoziiert ist; wobei die Pfaddatenabrufeinrichtung (110) dazu ausgebildet ist, den mindestens einen Pfaddatensatz bereitzustellen, der einen aktiven Pfaddatensatz eines aktiven Pfads aufweist, der mit einem vorher erkannten Objekt assoziiert ist; wobei die Pfaddatenabrufeinrichtung (110) dazu ausgebildet ist, den mindestens einen Pfaddatensatz bereitzustellen, der einen inaktiven Pfaddatensatz eines inaktiven Pfads aufweist, der mit einem neu erkannten Objekt assoziiert ist; eine Sensormessdatenabrufeinrichtung (112), die dazu ausgebildet ist, mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; eine Differenzparameterbestimmungseinrichtung (120), die dazu ausgebildet ist, mindestens einen Differenzparameter zu bestimmen, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Differenzparameterbestimmungseinrichtung (120) ein Exponentialfunktionsmodul (122) aufweist, das zum Durchführen von Berechnungen unter Verwendung einer Exponentialfunktion ausgebildet ist, und die Differenzparameterbestimmungseinrichtung (120) dazu ausgebildet ist, das Exponentialfunktionsmodul (122) zum Berechnen des mindestens einen Differenzparameters unter Verwendung der Exponentialfunktion zu verwenden; wobei die Differenzparameterbestimmungseinrichtung (120) eine Korrelationsparameterbestimmungseinrichtung (124) aufweist, die dazu ausgebildet ist, mindestens einen Korrelationsparameter zu bestimmen, der eine Korrelation zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz definiert; wobei die Differenzparameterbestimmungseinrichtung (120) einen statistischen Abstandsrechner (126) aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter statistisch zu berechnen; wobei die Differenzparameterbestimmungseinrichtung (120) einen Mahalanobis-Abstandsrechner (128) aufweist, der dazu ausgebildet ist, den mindestens einen Korrelationsparameter unter Verwendung einer Mahalanobis-Abstandsformel zu berechnen, wobei der mindestens eine Korrelationsparameter einen Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; wobei die Differenzparameterbestimmungseinrichtung (120) dazu ausgebildet ist, den mindestens einen Differenzparameter durch Subtrahieren eines Wertes der Exponentialfunktion von eins zu berechnen; wobei die Exponentialfunktion einen Exponenten aufweist, der den Mahalanobis-Abstand zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; wobei der Exponent ein negatives Vielfaches des Mahalanobis-Abstands zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz aufweist; eine Existenzwahrscheinlichkeitsbestimmungseinrichtung (130), die dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung (130) ein System für maschinelles Lernen (132) aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei die Existenzwahrscheinlichkeitsbestimmungseinrichtung (130) ein LSTM-Netzwerkmodul (134) aufweist, das dazu ausgebildet ist, den mindestens einen Differenzparameter als Eingabe anzunehmen und den mindestens einen Existenzwahrscheinlichkeitsparameter für den mindestens einen Pfad auszugeben, der mit dem mindestens einen erkannten Objekt assoziiert ist; einen Schwellenwertkomparator (140), der dazu ausgebildet ist, den mindestens einen Existenzwahrscheinlichkeitsparameter des mindestens einen Pfads mit einem Existenzschwellenwert zu vergleichen; eine Entscheidereinrichtung (142), die dazu ausgebildet ist, eine Assoziation für den aktiven Pfad durchzuführen, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads über dem Existenzschwellenwert ist; wobei die Entscheidereinrichtung (142) dazu ausgebildet ist, einen aktiven Pfad zu beenden, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des aktiven Pfads unter dem Existenzschwellenwert ist; wobei die Entscheidereinrichtung (142) dazu ausgebildet ist, den inaktiven Pfad auf einen aktiven Pfad zu initialisieren, wenn der mindestens eine Existenzwahrscheinlichkeitsparameter des inaktiven Pfads über dem Existenzschwellenwert ist; und eine Sensorzuverlässigkeitswert-Abrufeinrichtung (114), die dazu ausgebildet ist, mindestens einen Sensorzuverlässigkeitsparameter zu erhalten, der mit mindestens einem Sensor assoziiert ist, der verwendet wird, um den mindestens einen Sensormessdatensatz für den mindestens einen Pfad bereitzustellen, der mit dem mindestens einen erkannten Objekt assoziiert ist; wobei der Schwellenwertkomparator (140) dazu ausgebildet ist, den mindestens einen Sensorzuverlässigkeitsparameter mit einem Sensorzuverlässigkeitsschwellenwert zu vergleichen; wobei die Entscheidereinrichtung (142) dazu ausgebildet ist, den mindestens einen Sensormessdatensatz zu ignorieren, wenn der mindestens eine Sensorzuverlässigkeitsparameter, der mit dem mindestens einen Sensormessdatensatz assoziiert ist, unter dem Sensorzuverlässigkeitsschwellenwert ist.Object tracking data association module (100) according to one of the preceding claims, comprising: a path data retrieval device (110) configured to provide at least one path data set of at least one path associated with at least one detected object; wherein the path data retrieval device (110) is configured to provide the at least one path data set comprising an active path data set of an active path associated with a previously detected object; wherein the path data retrieval device (110) is configured to provide the at least one path data set comprising an inactive path data set of an inactive path associated with a newly detected object; a sensor measurement data retrieval device (112) configured to provide at least one sensor measurement data set for the at least one path associated with the at least one detected object; a difference parameter determination device (120) which is designed to determine at least one difference parameter which defines a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object; wherein the difference parameter determination device (120) has an exponential function module (122) which is designed to perform calculations using an exponential function, and the difference parameter determination device (120) is designed to use the exponential function module (122) to calculate the at least one difference parameter using application of the exponential function; wherein the difference parameter determination device (120) has a correlation parameter determination device (124) which is designed to determine at least one correlation parameter which defines a correlation between the at least one sensor measurement data set and the at least one path data set; wherein the difference parameter determination device (120) has a statistical distance calculator (126) which is designed to statistically calculate the at least one correlation parameter; wherein the difference parameter determination device (120) has a Mahalanobis distance calculator (128) which is designed to calculate the at least one correlation parameter using a Mahalanobis distance formula, wherein the at least one correlation parameter has a Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; wherein the difference parameter determination device (120) is designed to calculate the at least one difference parameter by subtracting a value of the exponential function from one; wherein the exponential function has an exponent that comprises the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; wherein the exponent has a negative multiple of the Mahalanobis distance between the at least one sensor measurement data set and the at least one path data set; an existence probability determination device (130) configured to accept the at least one difference parameter as input and output at least one existence probability parameter for the at least one path associated with the at least one detected object; wherein the existence probability determination device (130) comprises a machine learning system (132) configured to accept the at least one difference parameter as input and output the at least one existence probability parameter for the at least one path associated with the at least one detected object; wherein the existence probability determination device (130) comprises an LSTM network module (134) configured to accept the at least one difference parameter as input and to output the at least one existence probability parameter for the at least one path associated with the at least one detected object; a threshold comparator (140) configured to compare the at least one existence probability parameter of the at least one path with an existence threshold; a decision device (142) configured to perform an association for the active path if the at least one existence probability parameter of the active path is above the existence threshold; wherein the decision device (142) is configured to terminate an active path if the at least one existence probability parameter of the active path is below the existence threshold; wherein the decision device (142) is configured to initialize the inactive path to an active path if the at least one existence probability parameter of the inactive path is above the existence threshold; and a sensor reliability value retrieval device (114) configured to obtain at least one sensor reliability parameter associated with at least one sensor used to provide the at least one sensor measurement data set for the at least one path associated with the at least one detected object; wherein the threshold comparator (140) is configured to compare the at least one sensor reliability parameter to a sensor reliability threshold; wherein the decision device (142) is configured to ignore the at least one sensor measurement data set if the at least one sensor reliability parameter associated with the at least one sensor measurement data set is below the sensor reliability threshold. Verfahren zur Assoziation von Objektverfolgungsdaten, aufweisend die folgenden Handlungen: Bereitstellen mindestens eines Pfaddatensatzes mindestens eines Pfads, der mit mindestens einem erkannten Objekt assoziiert ist, durch einen Prozessor; Bereitstellen mindestens eines Sensormessdatensatzes für den mindestens einen Pfad, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch einen Prozessor; und Bestimmen mindestens eines Differenzparameters, der eine Beziehung zwischen dem mindestens einen Sensormessdatensatz und dem mindestens einen Pfaddatensatz des mindestens einen Pfads definiert, der mit dem mindestens einen erkannten Objekt assoziiert ist, durch einen Prozessor unter Verwendung einer Exponentialfunktion.A method for associating object tracking data, comprising the following acts: providing, by a processor, at least one path data set of at least one path associated with at least one detected object; providing, by a processor, at least one sensor measurement data set for the at least one path associated with the at least one detected object; and determining, by a processor, at least one difference parameter defining a relationship between the at least one sensor measurement data set and the at least one path data set of the at least one path associated with the at least one detected object using an exponential function.
DE112022002063.6T 2021-04-09 2022-03-30 MODULE AND METHOD FOR ASSOCIATION OF OBJECT TRACKING DATA Pending DE112022002063T5 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN202141016701 2021-04-09
IN202141016701 2021-04-09
GB2109395.0A GB2608400A (en) 2021-06-30 2021-06-30 Object tracking data association module and method
GB2109395.0 2021-06-30
PCT/EP2022/058404 WO2022214375A1 (en) 2021-04-09 2022-03-30 Object tracking data association module and method

Publications (1)

Publication Number Publication Date
DE112022002063T5 true DE112022002063T5 (en) 2024-06-27

Family

ID=81389155

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112022002063.6T Pending DE112022002063T5 (en) 2021-04-09 2022-03-30 MODULE AND METHOD FOR ASSOCIATION OF OBJECT TRACKING DATA

Country Status (2)

Country Link
DE (1) DE112022002063T5 (en)
WO (1) WO2022214375A1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866307B2 (en) * 2017-12-29 2020-12-15 Automotive Research & Testing Center Method for analyzing error and existence probability of multi-sensor fusion of obstacle detection

Also Published As

Publication number Publication date
WO2022214375A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
EP2368216B1 (en) Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting
EP3785177B1 (en) Method and device for determining a network-configuration of a neural network
DE102018111905A1 (en) Domain-specific language for generating recurrent neural network architectures
DE202016107436U1 (en) Neural network processor
DE112016001796T5 (en) FINE-BITE IMAGE CLASSIFICATION BY EXPLORING LABELS FROM A BIPARTITE GRAPH
DE112017005651T5 (en) Device for classifying data
EP3719811A1 (en) Consistency of data markings in medical image processing for cell classification
DE102018206108A1 (en) Generate validation data with generative contradictory networks
DE102018220941A1 (en) Evaluation of measured variables with AI modules taking into account measurement uncertainties
DE102021109382A1 (en) SYSTEM AND PROCEDURE OF A MONOTON NEURAL OPERATOR NETWORK TECHNICAL FIELD
DE102020200499A1 (en) Method for generating labeled data, in particular for training a neural network, using unlabeled, partitioned samples
DE102021207613A1 (en) Process for quality assurance of a system
DE102020210376A1 (en) Apparatus and method for controlling a hardware agent in a multiple hardware agent control situation
DE112022002063T5 (en) MODULE AND METHOD FOR ASSOCIATION OF OBJECT TRACKING DATA
DE102019209463A1 (en) Method for determining the trust value of an object of a class
EP3736749A1 (en) Method and device for controlling a device using a dataset
DE102021133977A1 (en) Method and system for classifying virtual test scenarios and training methods
DE112021004735T5 (en) METHOD AND DEVICE FOR DETERMINING THE LANE OF A VEHICLE BY USING AN ARTIFICIAL NEURONAL NETWORK AND NAVIGATION DEVICE THEREFROM
DE102013225768A1 (en) Method and apparatus for determining a LOLIMOT model
DE102020123155A1 (en) Artificial neural network quantization method and operation method using an artificial neural network
DE102020211596A1 (en) Method for generating a trained neural convolution network with an invariant integration layer for classifying objects
DE102019213459A1 (en) Method for compressing a neural network
DE202023102037U1 (en) Device for optimizing a hyperparameter space with at least two hyperparameters of a machine learning algorithm
EP1835442A2 (en) Evaluation device, method and computer program
DE112022001417T5 (en) OBJECT RECOGNITION DEVICE AND OBJECT RECOGNITION METHOD

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R073 Re-establishment requested
R074 Re-establishment allowed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0020580000

Ipc: G06T0007200000