EP4728298A1 - Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung - Google Patents

Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung

Info

Publication number
EP4728298A1
EP4728298A1 EP24732395.9A EP24732395A EP4728298A1 EP 4728298 A1 EP4728298 A1 EP 4728298A1 EP 24732395 A EP24732395 A EP 24732395A EP 4728298 A1 EP4728298 A1 EP 4728298A1
Authority
EP
European Patent Office
Prior art keywords
detection device
rules
evaluation
electronic computing
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24732395.9A
Other languages
English (en)
French (fr)
Inventor
Christof Kaukewitsch
Hannes SCHÖNHAAR
Kristian Weiß
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4728298A1 publication Critical patent/EP4728298A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9328—Rail vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Durchführen einer Objektverfolgung (20) von zumindest einem Objekt (22) in einer Umgebung (24) mittels einer Detektionsvorrichtung (12), mit den Schritten: - Aussenden und Empfangen von Detektionsstrahlung (16) in die Umgebung (24) mittels einer Antenneneinrichtung (14) der Detektionsvorrichtung (12); - Auswerten der erfassten Umgebung (24) in Abhängigkeit von der ausgesendeten und empfangenen Detektionsstrahlung (16) mittels einer elektronischen Recheneinrichtung (18) der Detektionsvorrichtung (12); - Bestimmen von zumindest einem Objekt (22) in der Umgebung (24) in Abhängigkeit von der Auswertung mittels der elektronischen Recheneinrichtung (18); - Vorgeben von zumindest einem für die Objektverfolgung (20) spezifischen Regelwerk mittels der elektronischen Recheneinrichtung (18); und - Überprüfen der Plausibilität der Auswertung zu dem Objekt (22) in Abhängigkeit von dem spezifischen Regelwerk und Durchführen der Objektverfolgung (20) in Abhängigkeit von der Plausibilität mittels der elektronischen Recheneinrichtung (18). Ferner betrifft die Erfindung ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie eine Detektionsvorrichtung (12).

Description

Beschreibung
Verfahren zum Durchführen einer Obj ektverfolgung von zumindest einem Obj ekt in einer Umgebung mittels einer Detektionsvorrichtung, Computerprogrammprodukt , computerlesbares Speichermedium sowie Detektionsvorrichtung
Die Erfindung betri f ft ein Verfahren zum Durchführen einer Obj ektverfolgung von zumindest einem Obj ekt in einer Umgebung mittels einer Detektionsvorrichtung . Ferner betri f ft die Erfindung ein Computerprogrammprodukt , ein computerlesbares Speichermedium sowie eine Detektionsvorrichtung .
Die Obj ektverfolgung ist beispielsweise bei sicherheitsrelevanten, verkehrstechnischen und industriellen Anwendungen von großer Bedeutung . Besonders relevant ist sie beispielsweise für das autonome Fahren und den Transport und insbesondere für die damit verbundenen sicherheitsrelevanten Überwachungsaufgaben . Fehler bei der Obj ektverfolgung können die Beurteilung der tatsächlichen Situation beeinträchtigen . Dies kann zu falschen, schlechten oder bestenfalls unnötigen Entscheidungen führen und unerwünschte Folgen haben, wie zum Beispiel potentielle Sicherheitsrisiken, Nichtverfügbarkeit von Waren und Dienstleistungen oder unnötige und kostspielige Anstrengungen im Allgemeinen .
Aus dem Stand der Technik ist beispielsweise schon bekannt , dass die Verfolgung von Flugzeugen während der Entwicklung von Radar-Anwendungen einen immer höheren Stellenwert einnahm . Die auf dem Kalman-Filter basierende Obj ektverfolgung wurde beispielsweise erstmals erfolgreich bei Raumfahrtanwendungen eingesetzt . Verbesserte Methoden, wie der erweiterte Kalman-Filter oder der Unscented Kalman-Filter zur besseren Berücksichtigung von nicht-linearen Zustandsübergängen wurden entwickelt . Ferner ist ein Multi-Target-Tracking (MTT ) im Hinblick auf das autonome Fahren von wesentlicher Bedeutung und erfordert fortschrittliche Technologien, wie den Multi- Hypothesis Kalman-Filter (MHKF) oder den Partikel filter . Bei der Obj ektverfolgung mit mehreren Hypothesen, die zu einem enormen Zustandsraum potentieller Ereignisse führt , welcher auch als Zustandsexplosion durch exponentielles Wachstum bezeichnet werden kann, werden der Rechenaufwand und die Methoden zur Verringerung der Komplexität immer wichtiger .
Aufgabe der vorliegenden Erfindung ist es , ein Verfahren, ein Computerprogrammprodukt , ein computerlesbares Speichermedium sowie eine Detektionsvorrichtung zu schaf fen, mittels welchen eine verbesserte Ob ektverfolgung durchgeführt werden kann .
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt , ein computerlesbares Speichermedium sowie eine Detektionsvorrichtung gemäß den unabhängigen Patentansprüchen gelöst . Vorteilhafte Ausgestaltungs formen sind in den Unteransprüchen angegeben .
Ein Aspekt der Erfindung betri f ft ein Verfahren zum Durchführen einer Obj ektverfolgung von zumindest einem Obj ekt in einer Umgebung mittels einer Detektionsvorrichtung . Es erfolgt das Aussenden und Empfangen von Detektionsstrahlung in die Umgebung mittels einer Antenneneinrichtung der Detektionsvorrichtung . Es erfolgt das Auswerten der erfassten Umgebung in Abhängigkeit von der ausgesendeten und empfangenen Detektionsstrahlung mittels einer elektronischen Recheneinrichtung der Detektionsvorrichtung . Es wird zumindest ein Obj ekt in der Umgebung in Abhängigkeit von der Auswertung mittels der elektronischen Recheneinrichtung bestimmt . Es wird zumindest ein für die Obj ektverfolgung spezi fisches Regelwerk mittels der elektronischen Recheneinrichtung vorgegeben . Es erfolgt dann das Überprüfen der Plausibilität ( Plausibilitätsprüfung) der Auswertung zu dem Obj ekt in Abhängigkeit von dem spezi fischen Regelwerk und ein Durchführen der Obj ektverfolgung in Abhängigkeit von der Plausibilität mittels der elektronischen Recheneinrichtung . Somit kann eine verbesserte Obj ektverfolgung durchgeführt werden .
Insbesondere verringert das beschriebene Verfahren die entsprechenden negativen Folgen der Ob ektverfolgung, indem die Genauigkeit der Obj ektverfolgung erhöht wird . Dies wird durch die Beseitigung und Korrektur von Fehlern innerhalb des Entscheidungsprozesses bei der Obj ektverfolgung erreicht . Eine höhere Genauigkeit der Obj ektverfolgung kann auch die Qualität der Obj ektklassi fi zierung erhöhen, was beispielsweise für sicherheits- , Verkehrs- und industriebezogene Anwendungen von Bedeutung ist .
Insbesondere ist somit das vorgeschlagene Verfahren in unterschiedlichen Bereichen einsetzbar . Beispielsweise kann in Industrieanlagen, in Kraftfahrzeugen, beispielsweise bei Autos oder Flugzeugen, oder auch weiteren Fachbereichen das entsprechende Verfahren durchgeführt werden .
Als Umgebung ist insbesondere die Umgebung der Detektionsvorrichtung anzusehen . Als Detektionsstrahlung kann beispielsweise bei einer Radareinrichtung eine entsprechende elektromagnetische Strahlung angesehen werden . Bei beispielsweise einer Lidarsensoreinrichtung als Detektionsvorrichtung kann beispielsweise Licht als ausgesendete Strahlung angesehen werden . Ferner können beispielsweise bei einer Ultraschallsensoreinrichtung Schallsignale als entsprechende Strahlung angesehen werden .
Insbesondere ist somit vorgesehen, dass Entscheidungs fehler bei der Obj ektverfolgung korrigiert werden können . Für beispielsweise j eden Zustand während eines Zeitschritts innerhalb der Obj ektverfolgung wird eine Plausibilitätsprüfung durchgeführt . Hierzu erfolgt das Anwenden von Regeln zur Erkennung unplausibler oder hinreichend unwahrscheinlicher Zustände und wenn dieser unplausible Zustand beispielsweise erkannt wird, erfolgt eine Korrektur von mindestens einer Entscheidung im Verfolgungsprozess , die zu diesem unplausiblen Zustand geführt hat . Die Fehlerkorrektur im Entscheidungsprozess hängt insbesondere von der Art der festgestellten Unplausibilität und von speziellen Regeln für Korrekturmaßnahmen ab .
Es erfolgt die Wiederholung der Obj ektverfolgung mit beispielsweise dieser korrigierten Entscheidung und mit den zu diesem Zeitpunkt verfügbaren Messdaten, was insbesondere eine Zwischenspeicherung von Messdaten erfordert . Es werden dann die Regeln beziehungsweise weiteren Regeln auf diesen alternativen Ob ektverfolgungsprozess angewendet , um unplausible und ausreichend unwahrscheinliche Zustände während der Obj ektverfolgung weiterhin zu erkennen . Diese Schritte werden wiederholt , bis keine unplausiblen Zustände mehr existieren, oder bis eine externe Anforderung, wie eine zeitliche Überschreitung, diesen Prozessschritt beendet .
Es ist selbstverständlich für den Fachmann, sollte beispielsweise kein Obj ekt in der Umgebung erkannt werden, dass dann auch eine entsprechende Obj ektverfolgung nicht durchgeführt wird .
Insbesondere besteht somit der Hauptunterschied zum Stand der Technik darin, dass eine Zustandsexplosion, welche auch als exponentielles Wachstum bezeichnet wird, und damit ein hoher Rechenaufwand, wie er bei der Obj ektverfolgung mit mehreren Hypothesen entsteht , vermieden werden kann, während die Leistung herkömmlicher Algorithmen zur Verfolgung von Obj ekten mit nur einer Hypothese , wie zum Beispiel Kalman-Filter- basierte Ansätze , in geeigneten Anwendungen übertrof fen wird .
Der Rechenaufwand, der sich aus der Obj ektverfolgung mit mehreren Hypothesen ergibt , kann eine entsprechende Anwendung in bestimmten Echt Zeitanwendungen verhindern oder diese auf ungünstige Betriebs zustände oder unangemessene Genauigkeitsgrade einschränken, wenn nur eine begrenzte Anzahl von Messungen verarbeitet werden kann . Ein Beispiel kann nachfolgend für autonomes Fahren beschrieben werden . Wenn die Rechenkapazität nicht ausreicht , um alle relevanten Hypothesen für eine bestimmte Anzahl obj ektbezogener Messungen zu bewerten, kann es erforderlich sein, die Fahrzeuggeschwindigkeit generell oder vorübergehend zu verringern, um ein rechtzeitiges Abbremsen zu gewährleisten . Alternativ kann es erforderlich sein, potentiell relevante Messungen zu verwerfen und damit die Verfolgungsgenauigkeit zu verringern, was ebenfalls zu Sicherheitsrisiken oder zur Nichtverfügbarkeit von Diensten führen kann, wenn eine unnötige Bremsung erforderlich ist .
Im Gegensatz zu den vorgenannten vollwertigen Multi- Hypothesen-Ob ektverf olgungsmethoden wird bei dem erfindungsgemäßen Verfahren zunächst nur eine Ob ektverfolgungs- Hypothese ausgewertet . Alternative Hypothesen werden nur dann in Betracht gezogen, wenn ein unplausibler Systemzustand auftritt . In diesem Fall werden potentielle Fehlentscheidungen, die zu dieser unplausiblen Hypothese führen, mithil fe einer Datenbank, die entsprechende Regeln und Korrekturverfahren hält , neu bewertet und korrigiert .
Insgesamt kann für geeignete Anwendung eine Steigerung der Obj ektverfolgungsgenauigkeit im Vergleich zu herkömmlichen Ansätzen wie Kalman-Filter-basierten Verfahren erreicht werden, wobei die enormen rechnerischen Einschränkungen vermieden werden, die den beispielsweise sogenannten Brute-Force- Multi-Hypothesen-Verf olgungsmethoden immanent sind . Dadurch können unnötige Zuverlässigkeitsprobleme , Sicherheitsrisiken oder ungünstige Betriebs zustände in den entsprechenden Anwendungen vermieden werden .
Gemäß einer vorteilhaften Ausgestaltungs form wird das Regelwerk in Abhängigkeit von einem Domäneneinsatz der Detektionsvorrichtung vorgegeben . Unter Domäneneinsatz kann beispielsweise der Einsatzort der Detektionsvorrichtung angesehen werden . Beispielsweise können beim Einsatz im Kraftfahr- zeug/Automobil oder schienengebundener Verkehr Regeln aufge- stellt werden, sodass Obj ekte , welche beispielsweise als Flugzeuge klassi fi ziert werden könnten, nicht in Betracht gezogen werden . Somit können entsprechende Regeln domänenspezifisch aufgestellt werden, welche die Zuverlässigkeit der Obektverfolgung erhöhen .
Weiterhin vorteilhaft ist , wenn das Regelwerk in Abhängigkeit von der Detektionsart der Detektionsvorrichtung vorgegeben wird . Beispielsweise können spezi fische Eigenschaften von Radareinrichtungen, LIDAR-Einrichtungen oder Ultraschallsensoreinrichtungen entsprechend vorgegeben werden . Sollten beispielsweise entsprechende unplausible Vertrauensgrade von Obj ekten in Abhängigkeit der Detektionsart vorkommen, so kann dies ein Indi z dafür sein, dass ein Fehler in der Obj ektverfolgung zu verzeichnen ist . Dies kann von vornherein aufgrund des Regelwerks bezüglich der Detektionsart verhindert werden . Somit können zuverlässig unplausible Zustände bei der Obj ektverfolgung erkannt werden .
Weiterhin vorteilhaft ist , wenn das Regelwerk in Abhängigkeit von der Obj ektart des Obj ekts vorgegeben wird . Beispielsweise kann es bei den Obj ektarten sein, dass ein Verfolgungsobj ekt als Kraftfahrzeug klassi fi ziert wird . Es kann dann in Abhängigkeit davon entschieden werden, dass beispielsweise gewisse Geschwindigkeiten oder Bewegungsmuster dieses Kraftfahrzeugs nicht plausibel sind . Ferner können entsprechende Obj ekteigenschaften, ein Obj ektverhalten oder auch die Kontinuität der Obj ektexistenz , insbesondere in Bezug auf Obj ektverdeckung, entsprechend bei der Obj ektart berücksichtigt werden . Des Weiteren können auch physikalische Eigenschaften des Obj ekts entsprechend in Abhängigkeit der Obj ektart , insbesondere auf Basis einer vorhergehenden Obj ektklassi fi zierung, entsprechend berücksichtigt werden . Somit kann eine verbesserte Obj ektverfolgung realisiert werden .
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einer negativen Plausibilitätsprüfung der Grund der negativen Plausibilitätsprüfung für die erneute Auswertung der Mess- merkmale des Obj ekts berücksichtigt wird . Insbesondere ist somit vorgesehen, dass beispielsweise der Grund bei der zukünftigen Auswertung berücksichtigt wird, um eine erneute Obektauswertung durchzuführen . Sollte beispielsweise ein Obj ekt in einem ersten Zeitschrift als ein einziges Obj ekt klassi fi ziert werden und in einem zweiten Zeitschrift als zwei Obj ekte klassi fi ziert werden, so kann dieser Grund, nämlich dass das Obj ekt zwei Obj ekte sind, bei der erneuten Obj ektverfolgung berücksichtigt werden . Insbesondere kann somit bei der erneuten Obj ektverfolgung berücksichtigt werden, dass das Obj ekt aus mindestens zwei Obj ekten besteht . Somit können bereits durchgeführte Fehler bei der erneuten Obj ektverfolgung verhindert werden .
Weiterhin vorteilhaft ist , wenn die neue Auswertung bezüglich einer neuen Obj ekthypothese in Abhängigkeit von dem Regelwerk durchgeführt wird . Insbesondere kann bezüglich des Obj ekts ein Hypothesenraum bereitgestellt werden . In einem ersten Zeitschrift kann dann wiederum die wahrscheinlichste Hypothese bei der Auswertung genutzt werden . Sollte sich diese Hypothese als nicht korrekt herausstellen, so kann die zweitwahrscheinlichste Obj ekthypothese , beispielsweise zusätzlich in Anbetracht des Grunds , entsprechend ausgewertet werden . Somit kann zuverlässig eine Obj ektverfolgung durchgeführt werden .
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bereits ausgewertete Messdaten bei der erneuten Auswertung berücksichtigt werden . Beispielsweise kann eine Obj ektverfolgung durchgeführt werden, und zu einem ersten Zeitpunkt eine falsche Einschätzung der Obj ektverfolgung durchgeführt werden . Eine weitere Auf zeichnung von Messdaten und Auswertung der Messdaten erfolgt j edoch . Sollte nun die Plausibilitätsprüfung ergeben, dass eine falsche Hypothese angenommen wurde , so können j edoch die entsprechenden Messdaten bei einer erneuten Auswertung berücksichtigt werden, sodass Informationsverluste bezüglich des Obj ekts verhindert werden . Somit ist eine verbesserte Obj ektverfolgung möglich . In einer weiteren vorteilhaften Ausgestaltungs form ist vorgesehen, dass bei einer negativen Plausibilitätsprüfung ein Zeitpunkt einer vorausgegangen Fehlentscheidung bei der Auswertung bestimmt wird und eine erneute Auswertung unter einer neuen Obj ekthypothese ab dem bestimmten Zeitpunkt durchgeführt wird . Insbesondere kann somit ab dem Zeitpunkt , an dem der Fehler stattgefunden hat , eine erneute Ob ekthypothese geprüft werden . Somit kann ein Informationsverlust bei der Obj ektverfolgung verhindert werden .
Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einer negativen Plausibilitätsprüfung ein weiteres Regelwerk für eine Entscheidungskorrektur bereitgestellt wird, wobei in Abhängigkeit von diesem weiteren Regelwerk eine Korrektur der Auswertung durchgeführt wird . Insbesondere ist somit das weitere Regelwerk erforderlich, um zuvor erkannte unplausible Zustände des Obj ekts während des Verfolgungsprozesses zu korrigieren . Die relevanten Regeln beziehen sich hierbei auf den spezi fischen unplausiblen Zustand, der erkannt wurde . Dieses Regelwerk enthält die erforderlichen Korrekturmaßnahmen und kann nun zum Beispiel angeben, dass die Obj ektverfolgung von Anfang an zu wiederholen ist , wenn entsprechende Messdaten in einer Datenbank vorhanden sind, wobei davon ausgegangen wird, dass die ganze Zeit über beispielsweise zwei Obj ekte vorhanden waren anstatt einem Obj ekt . Die Umsetzung dieser Annahme kann dabei beispielsweise erzwungen werden, durch „verzerrte" Pseudomessung unterstützt oder im Falle einer auf den Kalman- Filter basierenden Implementierung, durch die Verringerung und/oder Vergrößerung von Schwellwerten für die zur Unterscheidung der Obj ekte verwendeten Abstandsmetriken, beispielsweise ein sogenannter Mahalanobis-Abstand, herbeigeführt werden .
Ebenfalls vorteilhaft ist , wenn auf Basis eines Kalman- Filters eine Auswertung durchgeführt wird . Insbesondere hat sich der Kalman-Filter als äußerst robust gezeigt , wodurch mittels des Kalman-Filters eine vorteilhafte Obj ektverfolgung realisiert werden kann . Es hat sich weiterhin als vorteilhaft erwiesen, wenn bei einer negativen Plausibilitätsprüfung zumindest ein Schwellwert des Kalman-Filters angepasst wird . Insbesondere können somit die Vorteile des Kalman-Filters genutzt werden und dennoch eine Anpassung bei beispielsweise einer negativen Plausibilitätsprüfung durchgeführt werden, sodass bei einer erneuten Auswertung der Kalman-Filter ein verbessertes Ergebnis zeigt .
Weiterhin vorteilhaft ist , wenn in Abhängigkeit von einem vordefinierten Ereignis das Verfahren abgebrochen wird . In vielen Fällen sind Einschränkungen hinsichtlich der Verfügbarkeit von Messdaten, der Rechenleistung oder der Reaktionszeit zu berücksichtigen . Insbesondere sind entsprechende Abbruchbedingungen für das Verfahren vorgesehen . Beispielsweise können Timeouts als Ereignis vorgesehen sein . Des Weiteren kann nach dem Abbruch beispielsweise eine Default-Hypothese verwendet werden . Ebenfalls möglich ist , dass in der Zeit noch weiter zurückgegangen wird, um den Zeitpunkt der Fehlentscheidung auf zufinden . Es kann auch eine ganz neue Messung für die Obj ektverfolgung, insbesondere unabhängig von der zuvor durchgeführten Ob ektverfolgung, durchgeführt werden . Ferner kann auch eine Obj ekthypothese mit der aktuellsten Messung fortgesetzt werden, wenn ein Rollback mit den zwischengespeicherten Messungen nicht zeitgerecht fertig wird oder keine Korrekturregeln anwendbar sind . Des Weiteren kann auch Obj ekthypothese verworfen werden und mit einer aktuellsten Messung eine neue Obj ekthypothese initialisiert werden . Eine weitere Alternative ist , dass die das Kraftfahrzeug in einen sicheren Zustand wechselt .
Gemäß einer weiteren vorteilhaften Ausgestaltungs form wird mittels einer künstlichen Intelligenz der elektronischen Recheneinrichtung die Auswertung durchgeführt . Insbesondere kann somit die regelbasierte Erkennung unplausibler Zustände durch datengesteuerte Ansätze ergänzt oder ersetzt werden . Hierbei können dann wiederum Techniken der künstlichen Intelligenz , beispielsweise neuronale Netzwerke , eingesetzt wer- den . Dadurch kann eine zuverlässigere Obj ektverfolgung realisiert werden .
Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren . Daher betri f ft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen .
Weiterhin betri f ft die Erfindung auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt nach dem vorhergehenden Aspekt .
Ein nochmals weiterer Aspekt der Erfindung betri f ft eine Detektionsvorrichtung zum Durchführen einer Ob ektverfolgung von zumindest einem Obj ekt in einer Umgebung, mit zumindest einer Antenneneinrichtung und einer elektronischen Recheneinrichtung, wobei die Detektionsvorrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist . Insbesondere wird das Verfahren mittels der Detektionsvorrichtung durchgeführt .
Vorteilhafte Ausgestaltungs formen des Verfahrens sind als vorteilhafte Ausgestaltungs formen des Computerprogrammprodukts , des computerlesbaren Speichermediums sowie der Detektionsvorrichtung anzusehen . Die Detektionsvorrichtung weist hierzu gegenständliche Merkmale auf , um entsprechende Verfahrensschritte durchführen zu können .
Hier und im Folgenden kann ein künstliches neuronales Netzwerk als Softwarecode verstanden werden, der auf einem computerlesbaren Speichermedium gespeichert ist und eines oder mehrere vernetzte künstliche Neuronen repräsentiert beziehungsweise deren Funktion nachbilden kann . Der Softwarecode kann dabei auch mehrere Softwarecodekomponenten beinhalten, die beispielsweise unterschiedliche Funktionen haben können . Insbesondere kann ein künstliches neuronales Netzwerk ein nichtlineares Modell oder einen nichtlinearen Algorithmus implementieren, das beziehungsweise der eine Eingabe auf eine Ausgabe abbildet , wobei die Eingabe durch einen Eingangsmerkmalsvektor oder eine Eingangssequenz gegeben ist und die Ausgabe beispielsweise eine ausgegebene Kategorie für eine Klassi fi zierungsaufgabe , einen oder mehrere prädi zierte Werte oder eine prädi zierte Sequenz beinhalten kann .
Im Rahmen der vorliegenden Of fenbarung kann ein Obj ekterkennungsalgorithmus als ein Computeralgorithmus verstanden werden, der in der Lage ist , eines oder mehrere Obj ekte innerhalb eines bereitgestellten Eingangsdatensatzes , beispielsweise Eingangsbildes , zu identi fi zieren und zu lokalisieren, beispielsweise indem er entsprechende Begrenzungsboxen oder Bereiche von Interesse , ROI ( englisch : „region of interest" ) , festlegt und insbesondere j eder der Begrenzungsboxen eine entsprechende Obj ektklasse zuordnet , wobei die Ob j ektklassen aus einem vordefinierten Satz von Ob j ektklassen ausgewählt werden können . Dabei kann die Zuweisung einer Obj ektklasse zu einer Begrenzungsbox derart verstanden werden, dass ein entsprechender Konf idenzwert oder eine Wahrscheinlichkeit dafür, dass das innerhalb der Begrenzungsbox identi fi zierte Obj ekt zu der entsprechenden Obj ektklasse gehört , bereitgestellt wird . Zum Beispiel kann der Algorithmus für eine gegebene Begrenzungsbox für j ede der Ob j ektklassen einen solchen Kon- fidenzwert oder eine Wahrscheinlichkeit bereitstellen . Die Zuweisung der Obj ektklasse kann zum Beispiel die Auswahl oder Bereitstellung der Obj ektklasse mit dem größten Konf idenzwert oder der größten Wahrscheinlichkeit beinhalten . Alternativ kann der Algorithmus auch lediglich die Begrenzungsboxen festlegen, ohne eine entsprechende Obj ektklasse zuzuordnen .
Unter einer Recheneinheit/elektronische Recheneinrichtung kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält . Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten . Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table") , durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit") , eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip") . Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit") , eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit") und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere Digitalsignalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory") oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory") , oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory") , als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory") , als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory") , als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memo- ry" ) , als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahl freiem Zugri f f , FRAM ( englisch : „ferroelectric random access memory" ) , als magnetoresistiver Speicher mit wahl freiem Zugri f f , MRAM ( englisch : „magnetoresistive random access memory" ) oder als Phasenänderungsspei- cher mit wahl freiem Zugri f f , PCRAM ( englisch : „phase-change random access memory" ) , ausgestaltet sein .
Ein Umfeldsensorsystem, vorliegend insbesondere die Detektionsvorrichtung, kann beispielsweise als Sensorsystem verstanden werden, das dazu in der Lage ist , Sensordaten oder Sensorsignale zu erzeugen, welche eine Umgebung des Umfeldsensorsystems abbilden, darstellen oder wiedergeben . Insbesondere ist die Fähigkeit , elektromagnetische oder sonstige Signale aus der Umgebung zu erfassen, nicht hinreichend, um ein Sensorsystem als Umfeldsensorsystem zu erachten . Beispielsweise können Kameras , Radarsysteme , Lidarsysteme oder Ultraschallsensorsysteme als Umfeldsensorsysteme aufgefasst werden . Auch eine Kombination der Sensoren ist möglich .
Algorithmen zur automatischen visuellen Wahrnehmung, die auch als Computer-Vision-Algorithmen, Algorithmen zum maschinellen Sehen oder Machine-Vision-Algorithmen bezeichnet werden können, können als Computeralgorithmen zur automatischen Durchführung einer visuellen Wahrnehmungsaufgabe betrachtet werden . Eine visuelle Wahrnehmungsaufgabe , die auch als Computer-Vision-Aufgabe bezeichnet wird, kann beispielsweise als eine Aufgabe zur Extraktion von visuellen Informationen aus Bilddaten verstanden werden . Insbesondere kann die visuelle Wahrnehmungsaufgabe in einigen Fällen prinzipiell von einem Menschen ausgeführt werden, der in der Lage ist , ein den Bilddaten entsprechendes Bild visuell wahrzunehmen . Im vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben j edoch auch automatisch durchgeführt , ohne dass die Unterstützung eines Menschen erforderlich ist .
Ein Computer-Vision-Algorithmus kann beispielsweise einen
Bildverarbeitungsalgorithmus oder einen Algorithmus zur Bild- analyse enthalten, der durch maschinelles Lernen trainiert wird oder wurde und beispielsweise auf einem künstlichen neuronalen Netzwerk, insbesondere einem faltenden neuronalen Netz , basieren kann . Der Computer-Vision-Algorithmus kann beispielsweise einen Obj ekterkennungsalgorithmus , einen Hinderniserkennungsalgorithmus , einen Ob ektverfolgungsalgorithmus , einen Klassi fikationsalgorithmus einen semantischen Segmentierungsalgorithmus , und/oder einen Tiefenschätzalgorithmus umfassen .
Entsprechende Algorithmen können analog auch basierend auf anderen Eingabedaten als von einem Menschen visuell wahrnehmbaren Bildern durchgeführt werden . Beispielsweise können auch Punktwolken oder Bilder von Inf rarotkameras , Lidarsystemen et cetera mittels entsprechend angepasster Computeralgorithmen ausgewertet werden . Streng genommen handelt es sich bei den entsprechenden Algorithmen nicht um Algorithmen zur visuellen Wahrnehmung, da die entsprechenden Sensoren in Bereichen arbeiten können, die visuell , also für das menschliche Auge , nicht wahrnehmbar sind, zum Beispiel im Infrarotbereich . Deshalb werden solche Algorithmen im Rahmen der vorliegenden Erfindung Algorithmen zur automatischen Wahrnehmung bezeichnet . Algorithmen zur automatischen Wahrnehmung schließen also Algorithmen zur automatischen visuellen Wahrnehmung ein, sind aber im Hinblick auf eine menschliche Wahrnehmung nicht auf diese beschränkt . Folglich kann ein Algorithmus zur automatischen Wahrnehmung nach diesem Verständnis einen Computeralgorithmus zur automatischen Durchführung einer Wahrnehmungsaufgabe enthalten, der beispielsweise durch maschinelles Lernen trainiert wird oder wurde und insbesondere auf einem künstlichen neuronalen Netzwerk basieren kann . Zu solchen verallgemeinerten Algorithmen zur automatischen Wahrnehmung können auch Obj ektdetektionsalgorithmen, Obj ektverfolgungsalgorithmen, Tiefenschätzungsalgorithmus , Klassi fi zierungsalgorithmen und/oder Segmentierungsalgorithmen, zum Beispiel semantische Segment ierungs al gor ithmen, gehören . Falls ein künstliches neuronales Netzwerk zur Implementierung eines Algorithmus zur automatischen visuellen Wahrnehmung verwendet wird, ist eine häufig eingesetzte Architektur die eines faltendes neuronales Netzwerks , CNN . Insbesondere kann ein 2D-CNN auf entsprechende 2D-Kamerabilder angewendet werden . Auch für andere Algorithmen zur automatischen Wahrnehmung können CNNs verwendet werden . Beispielsweise können 3D- CNNs , 2D-CNNs oder ID-CNNs auf Punktwolken angewendet werden, abhängig von den räumlichen Dimensionen der Punktwolke und den Details der Verarbeitung .
Das Ergebnis oder die Ausgabe eines Algorithmus zur automatischen Wahrnehmung ist abhängig von der spezi fischen zugrundeliegenden Wahrnehmungsaufgabe . Beispielsweise kann die Ausgabe eines Obj ekterkennungsalgorithmus eine oder mehrere Begrenzungsboxen enthalten, die eine räumliche Position und optional eine Orientierung eines oder mehrerer entsprechender Obj ekte in der Umgebung und/oder entsprechende Ob j ektklassen für das eine oder die mehreren Obj ekte definieren . Eine Ausgabe eines semantischen Segmentierungsalgorithmus , der auf ein Kamerabild angewendet wird, kann eine Klasse auf Pixelebene für j edes Pixel des Kamerabildes enthalten . Analog dazu kann eine Ausgabe eines semantischen Segmentierungsalgorithmus , der auf eine Punktwolke angewendet wird, eine entsprechende Punktebenen-Klasse für j eden der Punkte enthalten . Die Klassen auf Pixelebene beziehungsweise auf Punktebene können beispielsweise einen Obj ekttyp definieren, zu dem der j eweilige Pixel oder Punkt gehört .
Für Anwendungs fälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht expli zit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Auf forderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initial zustand eingestellt wird . Unabhängig vom grammatikalischen Geschlecht eines bestimmten Begri f fes sind Personen mit männlicher, weiblicher oder anderer Geschlechteridentität mit umfasst .
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung . Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der j eweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein . Es können insbesondere auch Aus führungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen . Es können darüber hinaus Aus führungen und Merkmalskombinationen von der Erfindung umfasst , die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen .
Dabei zeigen :
FIG 1 eine schematische Draufsicht auf eine Aus führungsform eines Kraftfahrzeugs mit einer Aus führungs form einer erfindungsgemäßen Detektionsvorrichtung; und
FIG 2 ein schematisches Ablauf diagramm gemäß einer Ausführungs form des Verfahrens .
Die Erfindung wird im Folgenden anhand konkreter Aus führungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert . In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugs zeichen versehen sein . Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt .
FIG 1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 10 . Das Kraftfahrzeug 10 ist im vorliegenden Beispiel als Auto dargestellt . Das Kraftfahrzeug 10 kann j edoch beispielsweise auch ein Flugzeug oder ein Schi f f oder ein Schienenfahrzeug oder ein fahrerloses Transportsystem (AGV - Auta- mted Guided Vehicle ) sein . Das Kraftfahrzeug 10 weist eine Detektionsvorrichtung 12 auf . Die Detektionsvorrichtung 12 weist zumindest eine Antenneneinrichtung 14 zum Aussenden und Empfangen von Detektionsstrahlung 16 auf . Ferner weist die Detektionsvorrichtung 12 zumindest eine elektronische Recheneinrichtung 18 auf .
Die Detektionsvorrichtung 12 ist insbesondere zum Durchführen einer Ob ektverfolgung 20 vorgesehen . Im vorliegenden Aus führungsbeispiel sind drei Zeitpunkte tl , t2 sowie t3 gezeigt . Die FIG 1 zeigt insbesondere , dass beispielsweise die Obj ektverfolgung 20 zum ersten Zeitpunkt tl ein einziges Obj ekt 22 und ebenfalls zum zweiten Zeitpunkt t2 ein einziges Obj ekt 22 verfolgt hat . Zum dritten Zeitpunkt t3 hat sich herausgestellt , dass es sich bei dem als einziges Obj ekt 22 klassi fizierten Obj ekt 22 j edoch um zwei unabhängige Obj ekte 22a, 22b handelt . Dies kann beispielsweise bestimmt worden sein, da sich die Obj ekte 22a und 22b dem Kraftfahrzeug 10 genähert haben . Somit kann beispielsweise eine Auflösung der Detektionsvorrichtung 12 erhöht sein, weshalb zum Zeitpunkt t3 zwei Obj ekte 22a, 22b verfolgt werden .
FIG 2 zeigt ein schematisches Ablauf diagramm gemäß einer Ausführungs form des Verfahrens . Insbesondere zeigt die FIG 2 die Situation, welche bereits in FIG 1 geschildert wurde .
Bei einem erfindungsgemäßen Verfahren zur Obj ektverfolgung 20 ist vorgesehen, dass die Detektionsstrahlung 16 ausgesendet und empfangen wird, insbesondere in eine Umgebung 24 der Detektionsvorrichtung 12 ausgesendet wird . Es wird die erfasste Umgebung 24 in Abhängigkeit von der ausgesendeten und empfangenen Detektionsstrahlung 16 ausgewertet , insbesondere mittels der elektronischen Recheneinrichtung 18 . Es wird das zumindest eine Obj ekt 22 in der Umgebung 24 in Abhängigkeit von der Auswertung mittels der elektronischen Recheneinrichtung 18 bestimmt . Es erfolgt das Vorgeben von zumindest einem für die Obj ektverfolgung 20 spezi fischen Regelwerk mittels der elektronischen Recheneinrichtung 18 . Es wird die Plausibilität ( Plausibilitätsüberprüfung 32 ) der Auswertung zu dem Obj ekt 22 in Abhängigkeit von dem spezi fischen Regelwerk überprüft und es erfolgt ein Durchführen der Obj ektverfolgung 20 in Abhängigkeit von der Plausibilität mittels der elektronischen Recheneinrichtung 18 .
Dabei kann vorgesehen sein, dass das Regelwerk in Abhängigkeit von einem Domäneneinsatz der Detektionsvorrichtung 12 vorgegeben wird . Ferner kann das Regelwerk in Abhängigkeit von einer Detektionsart der Detektionsvorrichtung 12 vorgegeben werden . Des Weiteren kann vorgesehen sein, dass das Regelwerk in Abhängigkeit von einer Obj ektart des Obj ekts 22 vorgegeben wird .
Die FIG 2 zeigt insbesondere , dass zum Zeitpunkt tl eine erste Obj ekthypothese 26 bewertet wird . In der ersten Obj ekthypothese 26 wird insbesondere angenommen, dass es sich bei dem Obj ekt 22 um ein einziges Obj ekt 22 handelt . Zum Zeitpunkt tl und zum Zeitpunkt t2 wird diese Obj ekthypothese weiterverfolgt . Zum dritten Zeitpunkt t3 wird j edoch erkannt , dass die erste Obj ekthypothese 26 falsch war . Es kann nun beispielsweise vorgesehen sein, dass bis zu dem Zeitpunkt , in dem ein j eweiliger Fehler erkannt wurde , zurückgegangen wird, um eine erneute Obj ekthypothese 28 durchzuführen . Im vorliegenden Aus führungsbeispiel kann somit vom dritten Zeitpunkt t3 zum ersten Zeitpunkt tl zurückgegangen werden, wobei dann wiederum der Zeitpunkt t2 und t3 in Abhängigkeit der weiteren Obj ekthypothese 28 bewertet wird .
Dabei kann insbesondere vorgesehen sein, dass bei einer negativen Plausibilitätsprüfung 30 der Grund der negativen Plau- sibilitätsprüfung 30 für eine erneute Auswertung der Messmerkmale des Obj ekts 22 berücksichtigt wird . Insbesondere wird dann die neue Auswertung bezüglich der neuen Obj ekthypothese 28 in Abhängigkeit von dem Regelwerk durchgeführt . Da- bei werden bereits ausgewertete Messdaten bezüglich des Obj ekts 22 bei der erneuten Auswertung der Messmerkmale berücksichtigt werden .
Ferner kann vorgesehen sein, dass bei der negativen Plausibi- litätsprüfung 30 ein weiteres Regelwerk für die Entscheidungskorrektur bereitgestellt wird, wobei in Abhängigkeit von dem weiteren Regelwerk eine Korrektur der Auswertung durchgeführt wird .
Dabei kann ferner vorgesehen sein, dass auf Basis eines Kalman-Filters die Auswertung durchgeführt wird . Bei einer negativen Plausibilitätsprüfung 30 kann dann zumindest ein Schwellwert für den Kalman-Filter entsprechend angepasst werden .
Insbesondere ist somit vorgesehen, dass ein Regelwerk zur Erkennung unplausibler Zustände während der Ob ektverfolgung 20 für die elektronische Recheneinrichtung 18 , welche insbesondere eine Datenbank aufweist , gespeichert ist . Dieses Regelwerk enthält relevante Kriterien und entsprechende Schwellenwerte und kann bereichs- und anwendungsspezi fisch, was auch als domänenspezi fisch bezeichnet werden kann, sein . Es kann darüber hinaus eine Parametrisierung erfolgen, um Risiken, die sich aus Fehlentscheidungen ergeben, umfassend zu berücksichtigen . Insbesondere können somit die Kosten einer Fehlentscheidung mit berücksichtigt werden . Dieses Regelwerk kann zum Beispiel Obj ekteigenschaften, Obj ektverhalten oder die Kontinuität der Obj ektexistenz , zum Beispiel in Bezug auf Obj ektverdeckung, berücksichtigen . Dies bedeutet , dass sowohl generische Kriterien, zum Beispiel physikalische , als auch domänenspezi fische Einschränkungen verwendet oder konfiguriert werden können .
Sollten sich beispielsweise zwei Obj ekte 22a, 22b der Detektionsvorrichtung 12 nähern, kann die Detektionsvorrichtung 12 zunächst nur ein relativ großes Obj ekt 22 erkennen . Bei ausreichender Nähe , insbesondere zum Zeitpunkt t3 , erkennt die Detektionsvorrichtung 12 eindeutig zwei sich unabhängig voneinander bewegende Obj ekte 22a, 22b . Anwendungsspezi fische Regeln können nun darauf hinweisen, dass dies unplausibel ist und dass bereits zuvor zwei Obj ekte 22a, 22b vorhanden gewesen sein müssen .
Ein zweiter Satz von Regeln, insbesondere ein weiteres Regelwerk, ist erforderlich, um zuvor erkannte unplausible Zustände während der Obj ektverfolgung 20 zu korrigieren . Die relevanten Regeln können beispielsweise ebenfalls in der elektronischen Recheneinrichtung 18 abgespeichert sein und beziehen sich auf den spezi fischen unplausiblen Zustand, der erkannt wurde . Diese Regeln enthalten die erforderlichen Korrekturmaßnahmen und können beispielsweise nun zum Beispiel angeben, dass die Obj ektverfolgung 20 von Anfang an zu wiederholen ist . Dies ist insbesondere beim ersten Zeitpunkt tl der Fall . Insbesondere kann dies vorgesehen sein, wenn beispielsweise Messdaten in der entsprechenden Datenbank vorhanden sind, wobei davon ausgegangen wird, dass die ganze Zeit über zwei Obj ekte 22a, 22b vorhanden waren . Die Umsetzung dieser Annahme kann direkt erzwungen, durch verzerrte Pseudomessung unterstützt oder, im Falle einer auf den Kalman-Filter basierenden Implementierung, durch die Verringerung der Schwellenwerte für die zur Unterscheidung der Obj ekte 22a, 22b verwendeten Abstandsmetriken, beispielsweise der sogenannten Mahalanobis- Abstand, herbeigeführt werden .
Dadurch kann die erfindungsgemäße Methode zur Fehlerkorrektur nicht nur das Potential aufweisen, die Obj ektverfolgung 20 selbst zu verbessern, sondern auch die Qualität der Obj ektklassi fi zierung aufgrund der Länge der Obj ektbeobachtungs zeit und der korrigierten Fehlentscheidungen . Darüber hinaus , kann die regelbasierte Erkennung unplausibler Zustände durch datengesteuerte Ansätze ergänzt oder ersetzt werden, insbesondere kann hierzu eine künstliche Intelligenz , beispielsweise ein neuronales Netzwerk, genutzt werden . In vielen Fällen sind Einschränkungen hinsichtlich der Verfügbarkeit von Messdaten, der Rechenleistung oder der Reaktions zeit zu berücksichtigen . Insbesondere sind entsprechende Abbruchbedingungen für das Verfahren vorgesehen . Beispielsweise können Timeouts vorgesehen sein . Des Weiteren kann nach dem Abbruch beispielsweise eine Default-Hypothese verwendet werden . Ebenfalls möglich ist , dass in der Zeit noch weiter zurückgegangen wird, um den Zeitpunkt der Fehlentscheidung auf zufinden . Es kann auch eine ganz neue Messung für die Obj ektverfolgung, insbesondere unabhängig von der zuvor durchgeführten Ob ektverfolgung, durchgeführt werden . Ferner kann auch eine Obj ekthypothese mit der aktuellsten Messung fortgesetzt werden, wenn ein Rollback mit den zwischengespeicherten Messungen nicht zeitgerecht fertig wird oder keine Korrekturregeln anwendbar sind . Des Weiteren kann auch Obj ekthypothese verworfen werden und mit einer aktuellsten Messung eine neue Obj ekthypothese initialisiert werden . Eine weitere Alternative ist , dass die das Kraftfahrzeug in einen sicheren Zustand wechselt .

Claims

Patentansprüche
1. Verfahren zum Durchführen einer Objektverfolgung (20) von zumindest einem Objekt (22) in einer Umgebung (24) mittels einer Detektionsvorrichtung (12) , mit den Schritten:
- Aussenden und Empfangen von Detektionsstrahlung (16) in die Umgebung (24) mittels einer Antenneneinrichtung (14) der Detektionsvorrichtung (12) ;
- Auswerten der erfassten Umgebung (24) in Abhängigkeit von der ausgesendeten und empfangenen Detektionsstrahlung (16) mittels einer elektronischen Recheneinrichtung (18) der Detektionsvorrichtung (12) ;
- Bestimmen von zumindest einem Objekt (22) in der Umgebung (24) in Abhängigkeit von der Auswertung mittels der elektronischen Recheneinrichtung (18) ;
- Vorgeben von zumindest einem für die Objektverfolgung (20) spezifischen Regelwerk mittels der elektronischen Recheneinrichtung (18) ; und
- Überprüfen der Plausibilität der Auswertung zu dem Objekt (22) in Abhängigkeit von dem spezifischen Regelwerk und Durchführen der Objektverfolgung (20) in Abhängigkeit von der Plausibilität mittels der elektronischen Recheneinrichtung (18) .
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Regelwerk in Abhängigkeit von einem Domäneneinsatz der Detektionsvorrichtung (12) vorgegeben wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Regelwerk in Abhängigkeit von einer Detektionsart der Detektionsvorrichtung (12) vorgegeben wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Regelwerk in Abhängigkeit von einer Objektart des Objekts (22) vorgegeben wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer negativen Plausibilitätsprüfung (30) der Grund der negativen Plausibilitätsprüfung (30) für eine erneute Auswertung der Messmerkmale des Objekts (22) berücksichtigt wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die neue Auswertung bezüglich einer neuen Ob ekthypothese (28) in Abhängigkeit von dem Regelwerk durchgeführt wird.
7. Verfahren nach einem der Ansprüche 5 oder 6, dadurch gekennzeichnet, dass bereits ausgewertete Messdaten bezüglich des Objekts (22) bei der erneuten Auswertung berücksichtigt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer negativen Plausibilitätsprüfung (30) ein Zeitpunkt (tl, t2, t3) einer vorausgegangenen Fehlentscheidung bei der Auswertung bestimmt wird und eine erneute Auswertung unter einen neuen Objekthypothese (28) ab dem bestimmten Zeitpunkt (tl, t2, t3) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einer negativen Plausibilitätsprüfung (30) ein weiteres Regelwerk für eine Entscheidungskorrektur bereitgestellt wird, wobei in Abhängigkeit von dem weiteren Regelwerk eine Korrektur der Auswertung durchgeführt wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Basis eines Kalman-Filters eines Auswertung durchgeführt wird und/oder bei einer negativen Plausibilitätsprüfung (30) zumindest ein Schwellwert des Kalman-Filters angepasst wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von einem vordefinierten Ereignis das Verfahren abgebrochen wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer künstlichen Intelligenz der elektronischen Recheneinrichtung (18) die Auswertung durchgeführt wird.
13. Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung (18) dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung (18) abgearbeitet werden, ein Verfahren nach einem Ansprüche 1 bis 12 durchzuführen.
14. Computerlesbares Speichermedium mit einem Computerprogrammprodukt nach Anspruch 13.
15. Detektionsvorrichtung (12) zum Durchführen einer Objektverfolgung (20) von zumindest einem Objekt (22) in einer Umgebung (24) , mit zumindest einer Antenneneinrichtung (14) und einer elektronischen Recheneinrichtung (18) , wobei die Detektionsvorrichtung (12) zum Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 12 ausgebildet ist.
EP24732395.9A 2023-07-19 2024-05-22 Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung Pending EP4728298A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023206836 2023-07-19
PCT/EP2024/064112 WO2025016591A1 (de) 2023-07-19 2024-05-22 Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung

Publications (1)

Publication Number Publication Date
EP4728298A1 true EP4728298A1 (de) 2026-04-22

Family

ID=91481601

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24732395.9A Pending EP4728298A1 (de) 2023-07-19 2024-05-22 Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung

Country Status (2)

Country Link
EP (1) EP4728298A1 (de)
WO (1) WO2025016591A1 (de)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020206639B4 (de) * 2020-05-27 2022-12-01 Robert Bosch Gesellschaft mit beschränkter Haftung Erkennung und/oder Ortung von Objekten anhand von Radardaten

Also Published As

Publication number Publication date
WO2025016591A1 (de) 2025-01-23

Similar Documents

Publication Publication Date Title
EP2951804B1 (de) Erstellen eines umfeldmodells für ein fahrzeug
EP3789926B1 (de) Verfahren zum erkennen einer adversarialen störung in eingangsdaten eines neuronalen netzes
DE102022205084B3 (de) Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug
WO2022106414A2 (de) Verfahren und system zur annotation von sensordaten
DE102017203276A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE102021003567A1 (de) Verfahren zur Erkennung von Objektbeziehungen und Attributierungen aus Sensordaten
EP4526842B1 (de) Verfahren zum steuern einer robotervorrichtung
DE102020128952A1 (de) Verfahren und Assistenzeinrichtung zur zweistufigen bildbasierten Szenenerkennung und Kraftfahrzeug
DE102021131179A1 (de) Formpriorisierte Bildklassifizierung unter Verwendung tiefer Faltungsnetze
DE102023002044B3 (de) Verfahren zu einer modellbasierten Fusion verschiedener Sensormodalitäten
DE102020133626A1 (de) Verfahren zum Erkennen von für ein neuronales Netz schwierig korrekt zu klassifizierenden Szenen, Assistenzeinrichtung und Kraftfahrzeug
EP4728298A1 (de) Verfahren zum durchführen einer objektverfolgung von zumindest einem objekt in einer umgebung mittels einer detektionsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie detektionsvorrichtung
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
DE102023118374A1 (de) Verfahren zum Erkennen einer Reinigung einer Linse einer Kamera für ein Kraftfahrzeug mittels einer elektronischen Recheneinrichtung des Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung
EP4049186B1 (de) Verfahren zum robustifizieren eines neuronalen netzes gegen adversariale störungen
DE102022121839A1 (de) Texterkennung basierend auf einem verzeichneten Kamerabild
DE102023118541A1 (de) Verfahren zum Betreiben eines Assistenzsystems eines zumindest teilweise assistiert betriebenen Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
DE102022107820A1 (de) Verfahren und Prozessorschaltung zum Überprüfen einer Plausibilität eines Detektionsergebnisses einer Objekterkennung in einem künstlichen neuronalen Netzwerk sowie Kraftfahrzeug
DE102022206131A1 (de) Klassifikator und Verfahren für die Erkennung von Objekten aus Sensordaten auf der Basis einer vorgegebenen Klassenhierarchie
WO2022175405A1 (de) Verfahren zum erfassen von objekten in einer umgebung eines fahrzeugs mit bestimmung einer verdeckung der objekte, recheneinrichtung sowie sensorsystem
DE102021131930A1 (de) Gestenerkennung im Straßenverkehr
EP4113392B1 (de) Verfahren zum prüfen der zuverlässigkeit einer ki-basierten objekt-detektion
DE102020117812A1 (de) Verfahren zum Bereitstellen einer Einrichtung zur Vorhersage von Fehlern beim Verarbeiten von Bilddaten, Einrichtung zum Vorhersagen von Segmentierungsfehlern und Kraftfahrzeug
DE102024104360B4 (de) Fahrzeugsystem für ein fahrzeug zum vorhersagen einer zukünftigen anwesenheit eines fussgängers auf einer strasse
WO2026068206A1 (de) Verfahren zum analysieren einer umgebung mittels einer erfassungsvorrichtung, computerprogrammprodukt, computerlesbares speichermedium sowie erfassungsvorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20260116

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR