DE102020211590A1 - Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts - Google Patents

Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts Download PDF

Info

Publication number
DE102020211590A1
DE102020211590A1 DE102020211590.7A DE102020211590A DE102020211590A1 DE 102020211590 A1 DE102020211590 A1 DE 102020211590A1 DE 102020211590 A DE102020211590 A DE 102020211590A DE 102020211590 A1 DE102020211590 A1 DE 102020211590A1
Authority
DE
Germany
Prior art keywords
sensor
module
status
object status
sensor value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020211590.7A
Other languages
English (en)
Inventor
Alexandru Paul Condurache
Sebastian Muenzner
Alex Matskevych
Claudius Glaeser
Jasmin Ebert
Thomas Gumpp
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102020211590.7A priority Critical patent/DE102020211590A1/de
Priority to PCT/EP2021/075287 priority patent/WO2022058331A1/de
Priority to US18/245,105 priority patent/US20230358877A1/en
Priority to CN202180063244.2A priority patent/CN116324502A/zh
Publication of DE102020211590A1 publication Critical patent/DE102020211590A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66Sonar tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren (100) zum Tracking eines Objekts [in einem Ortungssystem] mit einem Umfeldsensor (Wellenemitter und Wellensensor), insbesondere eines Radarsensors, wobei das Objekt mittels eines Objektstatus repräsentiert wird, umfassend die Schritte:- Erfassen (101) eines Sensorwertes des Umfeldsensors;- Prädizieren (102) eines zukünftigen Objektstatus des Objekts und- Aktualisieren (103) des Objektstatus mittels eines Kalman-Filters, dadurch gekennzeichnet, dass im Schritt des Aktualisierens (103) ein KI-Modul eingesetzt wird, wobei das KI-Modul derart trainiert ist, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.

Description

  • Die vorliegende Erfindung betrifft in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts. In weiteren Aspekten betrifft die vorliegende Erfindung entsprechende Computerprogramme, Speichermedien, Vorrichtungen.
  • Stand der Technik
  • Aus der DE 10 2010 029 637 A1 ist ein Verfahren zum Objekt-Tracking in einem Ortungssystem mit einem Wellenemitter und einem Wellensensor bekannt. Das Verfahren umfasst dabei die nachstehenden Schritte:
    • - Messen eines ersten Abstandes und einer ersten Geschwindigkeit eines Objektes in einem ersten Messzyklus, indem mittels des Wellenemitters Wellen ausgesandt werden und von dem Objekt reflektierte Wellen mittels des Wellensensors detektiert werden,
    • - Berechnen eines prädizierten Abstandes und einer prädizierten Geschwindigkeit des Objektes für einen zweiten Messzyklus, indem basierend auf der ersten Geschwindigkeit und dem ersten Abstand eine Kalman-Filterung durchgeführt wird, wobei für die Kalman-Filterung ein Bewegungsmodell in sphärischen Sensorkoordinaten und eine Hilfsvariable verwendet werden.
  • Vorteile der Erfindung
  • Unter Tracking eines Objekts bzw. Objekt-Tracking kann vorliegend ein Technologiefeld verstanden werden, das darauf abzielt basierend auf Sensorwerten von Umfeldsensoren eine Menge von Objekten zu identifizieren und jeweils einen Objektstatus abzuleiten, die Sensorwerte mit identifizieren Objekte zu assoziieren sowie den Objektstatus laufend basierend auf neuen Sensorwerten zu aktualisieren.
  • Objekt-Tracking im Automotive-Bereich weist die inhärente Problemstellung auf, dass typischerweise ausgedehnte Objekte, im Regelfall Fahrzeuge, primär basierend auf den Signalen einer Umfeldsensorik zu tracken sind. Dabei ist es eine Aufgabe die empfangenen Sensorsignale einem Objekt zuzuordnen (Schritt des Assoziierens). Dazu wird u. a. auf Sensormodelle zurückgegriffen.
  • Insbesondere die Erstellung eines entsprechenden Sensormodells ist bisher sehr aufwändig.
  • Daher ist es Ziel der vorliegenden Erfindung ein Sensormessmodell zu lernen, d. h. im Wesentlichen ein entsprechendes KI-Modul einzusetzen, mit dessen Anwendung die prädizierten Objektstatus in Abhängigkeit von den erfassten Sensorsignalen korrigiert werden kann.
  • Vor diesem Hintergrund schafft die vorliegende Erfindung in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts mit einem Umfeldsensor.
  • Unter einem Umfeldsensor kann vorliegend ein Sensor bzw. ein Sensorsystem verstanden werden, dass Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
  • Ein Anwendungsfeld der Technologie Objekt-Tracking sind im Automotive-Bereich Fahrerassistenzsysteme zur Längs- und Quersteuerung (sog. Adaptive Geschwindigkeitsregelung, Adaptive Cruise Control, ACC).
  • Das Verfahren der vorliegenden Erfindung weist dazu die nachstehenden, typischen Schritte eines Verfahren zum Objekttracking mittels eines Kalman-Filters auf:
    • Erfassen eines Sensorwertes des Umfeldsensors.
    • Prädizieren eines zukünftigen Objektstatus des Objekts.
  • Aktualisieren des Objektstatus.
  • Die Schritte des Prädizierens und des Aktualisierens laufen dabei typischerweise im Rahmen einer Verarbeitung innerhalb eines Bayes'schen Filters, insbesondere innerhalb eines Kalman-Filters, insbesondere eines Extended Kalman Filters, ab.
  • Das Verfahren der vorliegenden Erfindung zeichnet sich dadurch aus, dass im Schritt des Aktualisierens ein KI-Modul eingesetzt wird. Das KI-Modul ist dabei derart trainiert, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.
  • Dabei basiert die Erfindung auf der Erkenntnis, dass ein KI-Modul derart auf Sensormessmodelle (engl. sensor measurement models) trainiert werden kann, erfasste Sensorwerte mit einem getrackten Objekt zu assoziieren und den Objektstatus des getrackten Objekts zu aktualisieren. Dabei löst das gelernte Sensormessmodell die Aufgabe, die erfassten Sensormesswerte, die im Sensormesswertraum vorliegen, zunächst mit dem getrackten Objekt zu assoziieren und dann mittels der assoziierten Sensormesswerte den Objektstatus des getrackten Objekts, der im Objektstatusraum vorliegt, welcher sich typischerweise vom Sensormesswertraum unterscheidet, zu aktualisieren.
  • Das trainierte KI-Modul kann dabei als eine Art virtueller Sensor aufgefasst werden, der Messwerte aus dem Messwertraum in eine abstrakte Dimension abbildet. Die abstrakte Dimension sollte dabei in einem Zusammenhang mit dem Objektstatusraum stehen. Vorteilhaft ist, wenn die abstrakte Dimension mit dem Objektstatusraum übereinstimmt.
  • Seien m das trainierte Modell und zk die erfassten Sensormesswerte, dann gilt für virtuellen Sensormesswert z k D N N :
    Figure DE102020211590A1_0001
    z k D N N = m ( z k )
    Figure DE102020211590A1_0002
  • Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes'schem Filter, insbesondere mit Kalman-Filter, einsetzen: x k = x k + K k ( z k D N N h m e t a ( x k , v k ) )
    Figure DE102020211590A1_0003
  • Alternativ kann die Korrektur zwischen dem prädizierten Objektstatus x k
    Figure DE102020211590A1_0004
    und der erfassten Sensormesswerten zk direkt gelernt werden. Dazu sei m das trainierte Modell: m ( z k , x k ) = z k h ( x k , v k )
    Figure DE102020211590A1_0005
  • Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes'schem Filter, insbesondere mit Kalman-Filter, einsetzen: x k = x k + K k ( m ( z k , x k ) )
    Figure DE102020211590A1_0006
  • Dabei sind
    xk: der aktualisierte Objektstatus des getrackten Objekts im Zeitschritt k.
    x k :
    Figure DE102020211590A1_0007
    der prädizierte Objektstatus des getrackten Objekts für Zeitschritt k.
    Kk: der Kalman-Gain, der den a posteriori Fehlerkovarianz minimiert und einen Wert repräsentiert, bis zum welchem Ausmaß der prädizierte Objektstatus x k
    Figure DE102020211590A1_0008
    anhand der Sensormesswerte zk bzw. virtuellen Sensormesswerte z k D N N
    Figure DE102020211590A1_0009
    angepasst wurde.
    hmetα: die Sensormesswertfunktion, die den Objektstatus in die abstrakte Dimension der virtuellen Sensormesswerte z k D N N
    Figure DE102020211590A1_0010
    abbildet. Von Vorteil ist, wenn die abstrakte Dimension der virtuelle Sensormesswerte mit dem Objektzustandsraum übereinstimmt.
    vk: das Sensormessrauschen.
  • Bei dem KI-Modul kann es sich um ein Regressionssystem handeln.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das KI-Modul ein Grid-basiertes künstliches neuronales Netz.
  • Unter einem Grid-basierten künstlichen neuronalen Netz kann vorliegend ein Convolutional Neural Network verstanden werden, das auf einem Datengitter (Grid) als Eingabe arbeiten. Eine Umsetzung eines Grids kann mit Hilfe eines Polarfeldes erfolgen.
  • Das Datengitter kann dabei eine vorbestimmte Fläche zentriert um das getrackte Objekte repräsentieren. Eine Fläche von 10 m auf 10 m mit einer Zellengröße von jeweils 0,25 m auf 0,25 m hat dabei sich als brauchbar erwiesen. In die Tiefe des Eingabegitters kann eine verarbeitete Untermenge der erfassten Umfeldgrößen aufgetragen werden. Bei der Verwendung eines Radarsensors als Umfeldsensor haben sich als Umfeldgrößen die Attribute Radialgeschwindigkeit und der Rückstreuquerschnitt bzw. die Rückstreustrahlfläche des Radarsensors herausgestellt.
  • Bei der Verwendung eines Radarsensors als Umfeldsensor hat es sich ferner als hilfreich erwiesen, wenn mehr als ein Radarreflex in eine Zelle fällt, nur die Attribute des stärksten Reflexes zu berücksichtigen. Die Stärke kann dabei mittels dem Attribut Winkelqualität des Sensorsignals bestimmt werden. Alternativ kann ein Mittelwert der Radarreflexe oder eine Gewichtung der Attribute über die Winkelqualität verwendet werden.
  • Die Verwendung eines Grid-basierten künstlichen neuronalen Netzes als KI-Modul hat den Vorteil, dass sich dadurch die Robustheit des Verfahrens im Vergleich zu den klassischen Messmodellen, wie L-Shape oder das Closest Reflex Model erhöhen lässt. Bei dem Closes Reflex Model handelt es sich um ein Assoziationsmodell, das den nächsten Radarreflex in einer distanzbasierten Metrik verwendet.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das KI-Modul ein künstliches neuronales Netz, das auf adaptiven Listen basierten, bspw. mit einer Architektur abgeleitet von T-Net nach C. R. Qi, H. Su, K. Mo, and L. J. Guibas, „Pointnet: Deep learning on point sets for 3d classification and segmentation,“ in IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660 im Folgenden Point T-Net genannt.
  • Dabei ist das Point T-Net derart aufgebaut, dass bei der Verwendung eines Radarsensors als Umfeldsensor die ersten Schichten zunächst unabhängig je Radarreflex erlernt werden, die Ergebnisse davon werden nachfolgenden zu einem globalen Merkmalsvektor zusammengeführt, der dazu geeignete ist, die gesamte erfasste Szene zu repräsentieren.
  • Dabei lernt das Netz direkt die Vorhersage von Korrekturen des Objektzustands.
  • Es hat sich ebenfalls als vorteilhaft herausgestellt, die Eingabe des Point T-Net derart anzulegen, dass das getrackte Objekt der Ursprung des Koordinatensystems der Eingabeparameter darstellt.
  • Die Verwendung eines Point T-Nets als KI-Modul hat den Vorteil, dass neben der erhöhten Robustheit im Vergleich zu den klassischen Modellen L-Shape und Closest Reflex Model auch das Point T-Net zudem hinsichtlich der Genauigkeit den bekannten Verfahren signifikant überlegen ist. Zudem wird durch den adaptiven Listeneingang das natürliche Messprinzip des Radars mit einer unterschiedlichen Anzahl an Reflexen besser abgebildet.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung ist das KI-Modul derart trainiert, einen erfassten Sensorwert aus dem Sensormessraum in den Objektstatusraum abzubilden.
  • Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird das Messrauschen in Abhängigkeit von dem KI-Modul abgeleitet.
  • Die Ableitung des Messrauschens in Abhängigkeit von dem KI-Modul kann sowohl offline, d. h. vor dem Durchführen des Verfahrens oder online, d. h. während des Durchführens des Verfahrens erfolgen.
  • Im Offline-Fall erfolgt die Ableitung durch Berechnung einer Kovarianzmatrix, die als Messrauschen in den Bayes'schen Filter, insbesondere den Kalman-Filter eingebracht werden kann. Für den Offline-Fall erfolgt zunächst das Training des künstlichen neuronalen Netzes m.
  • Nachdem das neuronale Netzwerk m fertig trainiert wurde, werden die Datenpunkte des Validierungssatzes gtk in die oben genannten Zellen eingeteilt. Jeder Datenpunkt wird durch Normalisierung mit verschiedene Prädiktionsfehlern in das trainierte Netzwerk gegeben. Hier hat sich das Verrauschen mit 2500 Offsets als sinnvoll erwiesen. Pro Grid Zelle wird die Kovarianzmatrix des Messrauschens über die untere Beziehung errechnet. Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall genutzt.
  • Die Berechnung der Kovarianzmatrix erfolgt mittels des entsprechend trainierten KI-Moduls. Die Ableitung einer Kovarianzmatrix R für das Messrauschen des Kalman-Filters, kann erfolgen, indem das Abtastfeld des Sensors in ein Grid, bspw. ein Polarfeld, aufgeteilt wird und für jede Zelle des Feldes eine jeweilige Kovarianzmatrix R abgeschäftzt wird. Die Abschätzung erfolgt dabei durch das bestimmen der Abweichungen zwischen der Vorhersage des KI-Moduls z k D N N
    Figure DE102020211590A1_0011
    und dem Groundtruth gtk gemäß der nachstehenden Beziehung: R k D N N = C o v [ z k D N N g t k ]
    Figure DE102020211590A1_0012
  • Im Falle des alternativen Ansatzes zur direkten Bestimmung der Differenz ( m ( z k , x k ) = z k h ( x k , v k ) )
    Figure DE102020211590A1_0013
    aus dem KI Modul ergibt sich analog : R k D N N = C o v [ m ( z k , x k ) ]
    Figure DE102020211590A1_0014
  • Die so abgeschätzten Kovarianzmatrizen können auf einfache Art und Weise in den Kalman-Filter gemäß der nachstehenden Beziehung aufgenommen werden: K k = P k H k T ( H k P k H k T + V k R k D N N V k T ) 1
    Figure DE102020211590A1_0015
  • Zur Berechnung der Kovarianzmatrix hat es sich als vorteilhaft erwiesen, das trainierte KI-Modul auf 2500 Prädiktions- und Messsituationen anzuwenden. Mögliche Prädiktionssituationen können beispielsweise aus künstlichen Offsets durch Verrauschen des Ground Turth gtk erzeugt werden.
  • Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall, d. h. während des Durchführens des Verfahrens der vorliegenden Erfindung verwendet.
  • Eine Alternative Möglichkeit die Messunsicherheit zu bestimmen ist die Verteilungsfehler nach der digitalen Signalverarbeitung zu nutzen. Da jeder Reflex durch einen Durchschnittswert (Mean) und eine Standardabweichung (Standard Deviation) gekennzeichnet ist, kann online während des Inferenzschritts, d. h. während des Durchführens des Verfahrens aus der Verteilung pro Reflex gesampelt werden. Diese Samples werden dem trainierten künstlichen neuronalen Netz zugeführt. Aus deren Fehlern kann das Messrauschen bestimmt werden.
  • Eine weitere alternative Ausführungsform ist es, das Messrauschen des Bayes'schen Filters, insbesondere des Kalman-Filters, direkt durch die Nutzung von Ausgabeunsicherheiten eines künstlichen neuronalen Netzes zu bestimmen. Dieses wird bereits im Trainingsschritt darauf trainiert Netzwerkunsicherheiten mit auszugeben. Diese können direkt online im Inferenzschritt genutzt werden. Diese Ausführungsform ist abgeleitet von D. Feng, L. Rosenbaum, F. Timm, and K. Dietmayer, „Leveraging heteroscedastic aleatoric uncertainties for robust realtime lidar 3d object detection,“ in IEEE Intelligent Vehicles Symposium, 2019, pp. 1280-1287.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche, in einem Verfahren zur Längs- und/oder Quersteuerung eines Kraftfahrzeugs.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
  • Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß einem Aspekt der vorliegenden Erfindung gespeichert ist.
  • Ein weiter Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
  • Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen näher erläutert.
  • Es zeigen
    • 1 ein Ablaufdiagramm einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung;
    • 2 ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
  • 1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens 100 zum Tracking eines Objekts umfassend ein KI-Modul gemäß der vorliegenden Erfindung.
  • In Schritt 101 wird ein Sensorwert eines Umfeldsensors erfasst.
  • In Schritt 102 wird ein zukünftiger Objektstatus des getrackten Objekts prädiziert.
  • In Schritt 103 wird der Objektstatus des getrackten Objekts aktualisiert.
  • Die Schritte 102 und 103 laufen dabei im Kalman-Filter ab.
  • Das Verfahren der vorliegenden Erfindung basiert auf der Erkenntnis, für die bisher üblichen Schritte des Assoziierens der erfassten Sensorwerte mit dem getrackten Objekt und des Aktualisierens des Objektstatus des getrackten Objekts Kl-Modul einzusetzen, welches derart trainiert ist, dass der erfasste Sensorwert mit dem getrackten Objekt assoziiert wird und der Objektstatus des getrackten Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten und assoziierten Sensorwert aktualisiert wird.
  • Es versteht sich, dass eine Aktualisierung des Objektstatus nicht erfolgen kann, wenn der erfasste Sensorwert nicht mit dem getrackten Objekt assoziiert werden kann.
  • Für diesen Fall kann es im Wesentlichen zwei Gründe geben. Entweder hat der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt, bspw., weil der Sensorwert Informationen über ein weiteres getracktes Objekt umfasst (sog. true negative). Oder der erfasste Sensorwert hat einen Bezug zu dem getrackten Objekt, wird aber nicht assoziiert, weil die Assoziation zu schwach ist und eine zu große Restwahrscheinlichkeit verbleibt, dass der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt hat (sog. false negative).
  • 2 zeigt ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
  • Block 11 stellt die Erfassung von Sensorsignalen mittels eines Umfeldsensors (Measurement) dar. Die Sterne stehen in der Darstellung für jeweils erfasste Signalreflexe. Unter einem Umfeldsensor wird typsicherweise ein Sensor bzw. ein Sensorsystem verstanden werden, der bzw. das Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
  • Die erfassten Sensorsignale werden einem Verfahren zum Objekttracking, dargestellt in Block 10, zugeführt.
  • Erfolgt das Objekttracking mittels eines Kalman-Filters, so werden typischerweise die Schritte Vorhersage eines zukünftigen Objektstatus (Prediction), dargestellt in Block 12, Assoziation der Sensorsignale mit einem getrackten Objekt (Association), dargestellt in Block 13, Aktualisierung des Objektstatus (Update), dargestellt in Block 14 und Zusammenstellung der aktuellen Liste an getrackten Objekten (Tracked Objects) zu Ausgabe an ein weiterverarbeitendes System wie bspw. ein Adaptive Geschwindigkeitsregelung (ACC), dargestellt in Block 15, zyklisch durchlaufen.
  • Die vorliegende Erfindung basiert auf der Erkenntnis, dass der Schritt der Assoziation 13 und ein Teil des Schrittes der Aktualisierung 14, mittels eines KI-Moduls 21 umgesetzt werden kann, dass die erfassten Sensorsignale ggf. vorverarbeitet aufnimmt und im Rahmen der Verarbeitung sowohl die Assoziation als auch die erforderliche Transformation aus dem Sensormessraum in den Objektstatusraum 22 vornimmt.
  • Dieser kennzeichnende Teil der vorliegenden Erfindung ist in Block 20 dargestellt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102010029637 A1 [0002]

Claims (9)

  1. Verfahren (100) zum Tracking eines Objekts mit einem Umfeldsensor, insbesondere eines Radarsensors, wobei das Objekt mittels eines Objektstatus repräsentiert wird, umfassend die Schritte: - Erfassen (101) eines Sensorwertes des Umfeldsensors; - Prädizieren (102) eines zukünftigen Objektstatus des Objekts und - Aktualisieren (103) des Objektstatus mittels eines Bayes'schen Filters, insbesondere eines Kalman-Filters, dadurch gekennzeichnet, dass im Schritt des Aktualisierens (103) ein Kl-Modul eingesetzt wird, wobei das KI-Modul derart trainiert ist, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.
  2. Verfahren (100) nach Anspruch 1, wobei das KI-Modul ein Grid-basiertes künstliches neuronales Netz umfasst.
  3. Verfahren (100) nach Anspruch 1, wobei das KI-Modul ein auf adaptiven Listen basierendes künstliches neuronales Netz umfasst.
  4. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Kl-Modul derart trainiert ist, den erfassten Sensorwert aus dem Sensormessraum in den Objektstatusraum abzubilden.
  5. Verfahren (100) nach einem der vorhergehenden Ansprüche, wobei das Messrauschen in Abhängigkeit von dem KI-Modul abgeleitet wird.
  6. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche, in einem Verfahren zur Längs- und/oder Quersteuerung eines Kraftfahrzeugs.
  7. Computerprogramm, welches eingerichtet ist, alle Schritte eines Verfahrens (100) nach einem der vorhergehenden Ansprüche auszuführen.
  8. Maschinenlesbares Speichermedium, auf dem ein Computerprogramm nach Anspruch 7 gespeichert ist.
  9. Vorrichtung, welche eingerichtet ist, alle Schritte eines Verfahrens (100) nach einem der Ansprüche 1 bis 6 auszuführen.
DE102020211590.7A 2020-09-16 2020-09-16 Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts Pending DE102020211590A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102020211590.7A DE102020211590A1 (de) 2020-09-16 2020-09-16 Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts
PCT/EP2021/075287 WO2022058331A1 (de) 2020-09-16 2021-09-15 Verfahren, computerprogramm, speichermedium, vorrichtung zum tracking eines objekts
US18/245,105 US20230358877A1 (en) 2020-09-16 2021-09-15 Method, Computer Program, Storage Medium, Device for Tracking an Object
CN202180063244.2A CN116324502A (zh) 2020-09-16 2021-09-15 用于跟踪对象的方法、计算机程序、存储介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020211590.7A DE102020211590A1 (de) 2020-09-16 2020-09-16 Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts

Publications (1)

Publication Number Publication Date
DE102020211590A1 true DE102020211590A1 (de) 2022-03-17

Family

ID=77914343

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020211590.7A Pending DE102020211590A1 (de) 2020-09-16 2020-09-16 Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts

Country Status (4)

Country Link
US (1) US20230358877A1 (de)
CN (1) CN116324502A (de)
DE (1) DE102020211590A1 (de)
WO (1) WO2022058331A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029637A1 (de) 2010-06-02 2011-12-08 Robert Bosch Gmbh Verfahren zum Objekt-Tracking in einem Ortungssystem und Ortungssystem

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732261B1 (en) * 2019-12-31 2020-08-04 Aurora Innovation, Inc. Generating data using radar observation model based on machine learning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010029637A1 (de) 2010-06-02 2011-12-08 Robert Bosch Gmbh Verfahren zum Objekt-Tracking in einem Ortungssystem und Ortungssystem

Also Published As

Publication number Publication date
US20230358877A1 (en) 2023-11-09
CN116324502A (zh) 2023-06-23
WO2022058331A1 (de) 2022-03-24

Similar Documents

Publication Publication Date Title
DE69522486T2 (de) Verfahren zur Verfolgung beweglicher Körper
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE112018007810T5 (de) Objektverfolgung auf Grundlage von mehreren Messhypothesen
DE102018124108A1 (de) VERFAHREN UND VORRICHTUNG ZUM ERFASSEN EINER STRAßENBEGRENZUNG
DE102017217972A1 (de) Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen
DE102017101476B3 (de) Lokalisieren eines Objekts in einer Umgebung eines Kraftfahrzeugs durch ein Ultraschallsensorsystem
DE102017128194A1 (de) Genaue Selbstortung unter Verwendung eines Automobilradars mit synthetischer Apertur
DE102020102712A1 (de) Entfernung von fehlalarmen in der keulenbildungsphase zum erfassen von radaren unter verwendung eines tiefen neuronalen netzwerks
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102022122594A1 (de) Ausrichtungsvalidierung in fahrzeugbasierten sensoren
DE102019209463A1 (de) Verfahren zur Bestimmung eines Vertrauenswertes eines Objektes einer Klasse
WO2019063393A1 (de) Verfahren und system zur bestimmung zumindest einer bewegungskomponente einer absolutbewegung eines objektes im ruhenden bezugssystem
DE102018001533B4 (de) Echtzeitverfahren zur dynamischen Koordinaten- und Parameterschätzung mit gitterbasierten nicht-linearen probabilistischen Filtern
DE102020211590A1 (de) Verfahren, Computerprogramm, Speichermedium, Vorrichtung zum Tracking eines Objekts
DE102020105147A1 (de) Verfahren und System zur Auswertung von Positionsparametern
DE102022211987A1 (de) Verfahren, Computerprogramm, maschinenlesbares Speichermedium und System zur Klassifizierung von Geisterobiekten in einer Umgebung eines Straßenfahrzeugs, eines Beförderungssystems und/oder einer Komponente einer Verkehrsinfrastruktur
EP2589977B1 (de) Verfahren und Vorrichtung zum Korrigieren systematischer Peilfehler
WO2022129266A1 (de) Verfahren zur detektion zumindest eines objektes einer umgebung mittels reflexionssignalen eines radar-sensorsystems
DE102021211743A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Tracking-Daten für die Erkennung der Bewegung von Personen und Händen zum Steuern mindestens einer Funktion eines Technischen Systems und Sensorsystem
DE102016116471A1 (de) Navigationskorrekturmodul sowie unbemanntes Unterwasserfahrzeug damit und Verfahren
WO2011036013A1 (de) Verfahren und vorrichtung zum bestimmen der position eines wasserfahrzeugs
DE102017201886B3 (de) Verfahren zur Ermittlung einer Genauigkeitsinformation eines Positionsvektors
DE102020116027A1 (de) Verfahren und Vorrichtung zur Ermittlung von Belegungsinformation für einen Umfeldpunkt auf Basis von Radardetektionen
DE102020213527A1 (de) Verfahren zum Optimieren einer Strategie für einen Roboter