DE102022206345A1 - Verfahren und Netzwerk zur Sensordatenfusion - Google Patents

Verfahren und Netzwerk zur Sensordatenfusion Download PDF

Info

Publication number
DE102022206345A1
DE102022206345A1 DE102022206345.7A DE102022206345A DE102022206345A1 DE 102022206345 A1 DE102022206345 A1 DE 102022206345A1 DE 102022206345 A DE102022206345 A DE 102022206345A DE 102022206345 A1 DE102022206345 A1 DE 102022206345A1
Authority
DE
Germany
Prior art keywords
features
fusion
kinematics
additional features
identifiers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022206345.7A
Other languages
English (en)
Inventor
Evren Divrikli
Federico Ignacio Sanchez Pinzon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022206345.7A priority Critical patent/DE102022206345A1/de
Priority to PCT/EP2023/066657 priority patent/WO2023247550A1/de
Publication of DE102022206345A1 publication Critical patent/DE102022206345A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Sensordatenfusion, wobei von zumindest zwei Sensoren (102) Objektlisten (108) mit Merkmalen erfasster Objekte (106) eingelesen werden, aus den Objektlisten (108) jeweils Kinematikmerkmale (112) und Zusatzmerkmale (114) der erfassten Objekte (106) extrahiert werden und zeitlich zusammen erfassten Kinematikmerkmalen (112) und Zusatzmerkmalen (114) jeweils eine gemeinsame Kennung (116) zugewiesen wird, wobei die von den verschiedenen Sensoren (102) zu einem Objekt (106) erfassten Kinematikmerkmale (112) unter Verwendung einer Kinematikfusion zu einem Fusionsobjekt (120) zusammengeführt werden, wobei bei der Kinematikfusion die zugewiesenen Kennungen (116) der Kinematikmerkmale (112) erhalten werden, wobei unter Verwendung der Kennungen (116) der zu dem Fusionsobjekt (120) zusammengeführten Kinematikmerkmale (112) die Zusatzmerkmale (114) mit den entsprechenden Kennungen (116) zu dem Fusionsobjekt (120) hinzugefügt werden.

Description

  • Gebiet der Erfindung
  • Die Erfindung betrifft ein Verfahren zur Sensordatenfusion, ein entsprechendes Netzwerk, sowie ein entsprechendes Computerprogrammprodukt.
  • Stand der Technik
  • Durch eine Sensordatenfusion werden Daten von unterschiedlichen Sensoren zusammengeführt. Für die Sensordatenfusion werden in den unterschiedlichen Daten abgebildete Objekte verfolgt und assoziiert. Dazu werden insbesondere zum ähnlichen Zeitpunkt am ähnlichen Ort befindliche Objekte mit ähnlicher Kinematik assoziiert.
  • Offenbarung der Erfindung
  • Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zur Sensordatenfusion, ein entsprechendes Netzwerk, sowie ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Ansprüchen vorgestellt. Vorteilhafte Weiterbildungen und Verbesserungen des hier vorgestellten Ansatzes ergeben sich aus der Beschreibung und sind in den abhängigen Ansprüchen beschrieben.
  • Vorteile der Erfindung
  • Bei dem hier vorgestellten Ansatz werden von unterschiedlichen Sensoren erfasste Objekte anhand ihrer Kinematik assoziiert und zusammengeführt. Zusätzlich werden andere, für die kinematische Assoziation nicht verwendete Merkmale zwischengespeichert und nach der Assoziation zu den zusammengeführten Objekten hinzugefügt.
  • Durch den hier vorgestellten Ansatz können Merkmale, die für die kinematische Assoziation nicht verwendet werden, für nachfolgende Schritte weitergegeben werden. Diese Merkmale können so nicht mehr verloren gehen.
  • Es wird ein Verfahren zur Sensordatenfusion vorgeschlagen, wobei von zumindest zwei Sensoren Objektlisten mit Merkmalen erfasster Objekte eingelesen werden, aus den Objektlisten jeweils Kinematikmerkmale und Zusatzmerkmale der erfassten Objekte extrahiert werden und zeitlich zusammen erfassten Kinematikmerkmalen und Zusatzmerkmalen jeweils eine gemeinsame Kennung zugewiesen wird, wobei die von den verschiedenen Sensoren zu einem Objekt erfassten Kinematikmerkmale unter Verwendung einer Kinematikfusion zu einem Fusionsobjekt zusammengeführt werden, wobei bei der Kinematikfusion die zugewiesenen Kennungen der Kinematikmerkmale erhalten werden, wobei unter Verwendung der Kennungen der zu dem Fusionsobjekt zusammengeführten Kinematikmerkmale die Zusatzmerkmale mit den entsprechenden Kennungen zu dem Fusionsobjekt hinzugefügt werden.
  • Ideen zu Ausführungsformen der vorliegenden Erfindung können unter anderem als auf den nachfolgend beschriebenen Gedanken und Erkenntnissen beruhend angesehen werden.
  • Ausgestaltungen des hierin beschriebenen Sensordatenfusionsverfahrens und des zu dessen Implementierung eingesetzten Netzwerks können beispielsweise dazu eingesetzt werden, einem Fahrzeug zu ermöglichen, mithilfe einer Mehrzahl von Sensoren empfangene Sensordaten in einer vorteilhaften Weise auszuwerten, um letztendlich eine Information über eine Umgebung des Fahrzeugs zu erzeugen. Die erzeugte Information kann beispielsweise dazu genutzt werden, um das Fahrzeug oder einzelne seiner Funktionalitäten zu steuern und/oder um einen Fahrer des Fahrzeugs beim Steuern desselben zu unterstützen. Das Netzwerk kann hierbei Teil einer Wahrnehmungssensorik sein oder mit dieser kommunizieren. Insbesondere kann das Netzwerk in einem Fahrzeugassistenzsystem eingesetzt sein.
  • Ein Sensor kann Objekte in einem Erfassungsbereich erfassen, die Objekte und Merkmale der Objekte erkennen und die Merkmale der erkannten Objekte als Objektliste ausgeben. Eine Objektliste kann unterschiedliche Merkmale enthalten. Von unterschiedlichen Sensoren können unterschiedliche Objektlisten bereitgestellt werden. Die Sensoren können zumindest anteilig überlappende Erfassungsbereiche aufweisen. Somit kann ein und dasselbe Objekt von mehreren Sensoren erfasst werden, von mehreren Sensoren Merkmale des Objekts erkannt werden und die Merkmale in mehreren Objektlisten abgebildet werden.
  • Eine Sensordatenfusion kann die in mehreren Objektlisten abgebildeten Merkmale zusammenführen. Dazu kann eine Kinematik beziehungsweise Bewegung des Objekts beobachtet werden. Die Kinematik kann durch Kinematikmerkmale des Objekts in der Objektliste abgebildet sein. Kinematikmerkmale können beispielsweise eine Geschwindigkeit des Objekts, eine Beschleunigung des Objekts, eine Position des Objekts und/oder eine Ausrichtung des Objekts abbilden. Wenn dasselbe Objekt von mehreren Sensoren erfasst wird, wird auch dieselbe Kinematik des Objekts erfasst und die Kinematikmerkmale aus unterschiedlichen Objektlisten bilden dieselbe Kinematik ab. Diese Kinematikmerkmale können durch eine Kinematikfusion zusammengeführt werden.
  • Zusatzmerkmale können Informationen zu dem Objekt abbilden, die keinen Bezug zur Kinematik des Objekts aufweisen. Die Zusatzmerkmale können beispielsweise eine Farbe des Objekts, eine Größe des Objekts, eine Masse des Objekts, ein Material des Objekts und/oder einen Typ beziehungsweise eine Klasse des Objekts abbilden.
  • Eine Kennung kann beispielsweise einen Erfassungszeitpunkt des Merkmals repräsentieren. Die Kennung kann eindeutig sein. Die Kennung kann den erfassenden Sensor kennzeichnen. Die Kennung kann die zusammen erfassten Merkmale eindeutig identifizieren.
  • Ein Fusionsobjekt kann ein durch zumindest zwei Sensoren erfasstes Objekt sein. Das Fusionsobjekt kann von den unterschiedlichen Sensoren erfasste Merkmale aufweisen.
  • Die Zusatzmerkmale mit ihren Kennungen können in einem Merkmalspuffer gespeichert werden. Die Zusatzmerkmale können zwischengespeichert werden, während die Kinematikfusion ausgeführt wird. Der Merkmalspuffer kann beispielsweise ein Ringpufferspeicher sein. Die Zusatzmerkmale können nach der Kinematikfunktion aus dem Merkmalspuffer ausgelesen werden. Dabei können die Zusatzmerkmale pro Sensor in einem eigenen Merkmalspuffer gespeichert werden. Ebenso können die Zusatzmerkmale von mehreren Objektlisten gemeinsam gespeichert werden. Die Kennungen können eine chronologische Reihenfolge der Zusatzmerkmale der verschiedenen Sensoren definieren.
  • Die Kinematikmerkmale mit ihren Kennungen können in einem Kinematikpuffer gespeichert werden. Der Kinematikpuffer kann beispielsweise ein Ringpufferspeicher sein. Die Kinematikmerkmale können pro Sensor in einem eigenen Kinematikpuffer gespeichert werden. Ebenso können die Kinematikmerkmale von mehreren Objektlisten gemeinsam gespeichert werden. Die Kennungen können eine chronologische Reihenfolge der Kinematikmerkmale definieren. Die Kinematikmerkmale der verschiedenen Sensoren können bei der Kinematikfusion unter Verwendung der chronologischen Reihenfolge zu dem Fusionsobjekt zusammengeführt werden. Zeitverzögert eingelesene Kinematikmerkmale können unter Verwendung der Kennungen in die chronologische Reihenfolge eingereiht werden. Wenn Kinematikmerkmale beispielsweise aufgrund von Signallaufzeiten und/oder vorgelagerter Verarbeitungsschritte zeitverzögert eingelesen werden, kann die Kinematikfusion erneut durchlaufen werden.
  • Die Zusatzmerkmale im Merkmalspuffer können nach einer vordefinierten Speicherdauer gelöscht werden. Wenn die Zusatzmerkmale innerhalb der Speicherdauer nicht ausgelesen werden, können die Zusatzmerkmale gelöscht werden. Die Zusatzmerkmale können schnell veralten. Ebenso können in der Kinematikfusion nicht verwendete Kinematikmerkmale nach einer vordefinierten Speicherdauer gelöscht werden. Die Kinematikmerkmale können schnell veralten.
  • Das Fusionsobjekt kann unter Verwendung der hinzugefügten Zusatzmerkmale plausibilisiert werden. Insbesondere können Zusatzmerkmale von unterschiedlichen Sensoren zum Plausibilisieren verwendet werden. Beispielsweise kann das Fusionsobjekt mit einer verringerten Zuverlässigkeit bewertet werden, wenn beim Plausibilisieren eine Inkonsistenz der Zusatzmerkmale erkannt wird. Eine Inkonsistenz kann beispielsweise erkannt werden, wenn ein Sensor ein erstes Zusatzmerkmal erkennt, der andere Sensor aber ein widersprüchliches anderes Zusatzmerkmal erkennt, also beispielsweise der erste Sensor einen ersten Objekttyp erkennt, der andere Sensor aber einen anderen Objekttyp erkennt. Ebenso kann eine Inkonsistenz erkannt werden, wenn sich zumindest ein Zusatzmerkmal im Verlauf der betrachteten Kinematik verändert, also wenn beispielsweise eine Farbe des Objekts plötzlich verändert erkannt wird.
  • Kinematikmerkmale, deren Zusatzmerkmale eine Inkonsistenz aufweisen, können verworfen werden. Diese Kinematikmerkmale können möglicherweise zu einem anderen Objekt gehören. Die Kinematikfusion kann ohne die verworfenen Kinematikmerkmale erneut durchgeführt werden. Eine weitere Kinematikfusion kann unter Verwendung der verworfenen Kinematikmerkmale durchgeführt werden, um das andere Objekt als weiteres Fusionsobjekt zu erkennen.
  • Das Verfahren ist vorzugsweise computerimplementiert und kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
  • Der hier vorgestellte Ansatz schafft ferner ein Netzwerk, das dazu ausgebildet ist, um die Schritte einer Variante des hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen.
  • Das Netzwerk kann ein elektrisches Gerät mit zumindest einer Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest einer Speichereinheit zum Speichern von Signalen oder Daten, und zumindest einer Schnittstelle und/oder einer Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten, die in ein Kommunikationsprotokoll eingebettet sind, sein. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein sogenannter System-ASIC oder ein Mikrocontroller zum Verarbeiten von Sensorsignalen und Ausgeben von Datensignalen in Abhängigkeit von den Sensorsignalen sein. Die Speichereinheit kann beispielsweise ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein. Die Schnittstelle kann als Sensorschnittstelle zum Einlesen der Sensorsignale von einem Sensor und/oder als Aktorschnittstelle zum Ausgeben der Datensignale und/oder Steuersignale an einen Aktor ausgebildet sein. Die Kommunikationsschnittstelle kann dazu ausgebildet sein, die Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben. Die Schnittstellen können auch Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
  • Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
  • Es wird darauf hingewiesen, dass einige der möglichen Merkmale und Vorteile der Erfindung hierin mit Bezug auf unterschiedliche Ausführungsformen beschrieben sind. Ein Fachmann erkennt, dass die Merkmale des Steuergeräts und des Verfahrens in geeigneter Weise kombiniert, angepasst oder ausgetauscht werden können, um zu weiteren Ausführungsformen der Erfindung zu gelangen.
  • Kurze Beschreibung der Zeichnung
  • Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beigefügte Zeichnung beschrieben, wobei weder die Zeichnung noch die Beschreibung als die Erfindung einschränkend auszulegen sind.
    • 1 zeigt eine Darstellung eines Netzwerks zur Sensordatenfusion gemäß einem Ausführungsbeispiel.
  • Die Figur ist lediglich schematisch und nicht maßstabsgetreu. Gleiche Bezugszeichen bezeichnen gleiche oder gleichwirkende Merkmale.
  • Ausführungsformen der Erfindung
  • 1 zeigt eine Darstellung eines Netzwerks 100 zur Sensordatenfusion gemäß einem Ausführungsbeispiel. Die zu fusionierenden Sensordaten werden von zumindest zwei Sensoren 102 bereitgestellt. Hier werden beispielsweise von zwei Sensoren 102 Sensordaten bereitgestellt. Die Sensoren 102 können gleichartig oder unterschiedlich sein. Beispielsweise kann ein Sensor 102 ein Radarsensor sein, während der andere Sensor 102 eine Kamera ist. Die Sensoren 102 erfassen je einen Erfassungsbereich 104. Die Erfassungsbereiche 104 von zumindest zwei der Sensoren 102 überlappen sich zumindest anteilig. Die Sensoren 102 erfassen Objekte 106 innerhalb der Erfassungsbereiche 104 und bilden Merkmale der Objekte 106 in Objektlisten 108 ab. Die zu fusionierenden Sensordaten liegen damit hier in Form der Objektlisten 108 vor. Die Sensordaten können auch als Vorstufe der Objektlisten 108 vorliegen, beispielsweise als Punktwolken. Dann ist eine zwischengeschaltete Objekterkennung erforderlich.
  • Wenn ein Objekt von mehreren Sensoren 102 erfasst wird, werden Merkmale des Objekts 106 in den Objektlisten 108 aller erfassenden Sensoren 102 abgebildet. Da das Objekt 106 jeweils aus einer Perspektive des erfassenden Sensors 102 erfasst wird, unterscheiden sich die in den Objektlisten 108 abgebildeten Merkmale zumindest geringfügig. Ebenfalls können unterschiedliche Sensoren 102 aufgrund ihrer unterschiedlichen Sensortechnik unterschiedliche Merkmale des gleichen Objekts 106 erfassen.
  • Das Netzwerk 100 liest die Objektlisten 108 von den Sensoren 102 ein. In einer Extraktionseinrichtung 110 des Netzwerks 100 werden Kinematikmerkmale 112 der erfassten Objekte 106 und Zusatzmerkmale 114 der erfassten Objekte 106 aus den Objektlisten extrahiert.
  • Die Kinematikmerkmale 112 bilden kinematische Eigenschaften der Objekte 106, wie beispielsweise eine Geschwindigkeit, eine Beschleunigung und/oder eine Position des jeweiligen Objekts 106 ab. Die kinematischen Eigenschaften werden bei einer anschließenden Kinematikfusion verwendet.
  • Die Zusatzmerkmale 114 bilden Eigenschaften der Objekte 106 ab, die bei der Kinematikfusion nicht verwendet werden, wie beispielsweise eine Farbe, eine Größe, eine Masse, ein Material und/oder einen Typ des jeweiligen Objekts 106.
  • Bei der Extraktion in der Extraktionseinrichtung 110 werden den Kinematikmerkmalen 112 und den Zusatzmerkmalen 114 Kennungen 116 zugeordnet. Die Kennungen 116 sind dabei jeweils für zeitgleich erfasste Merkmale gleich. Die Kennungen 116 kennzeichnen damit zusammengehörige Kinematikmerkmale 112 und Zusatzmerkmale 114.
  • Die Kinematikmerkmale 112 aus den unterschiedlichen Objektlisten 108 werden in einer Fusionseinrichtung 118 des Netzwerks 100 durch Kinematikfusion fusioniert. Dabei werden die Kinematikmerkmale 112 eines von mehreren Sensoren 102 erfassten Objekts 106 zu einem Fusionsobjekt 120 zusammengeführt. Die Kennungen 116 der jeweils fusionierten Kinematikmerkmale 112 bleiben erhalten und werden dem Fusionsobjekt 120 zugeordnet.
  • Nach der Kinematikfusion werden dem zumindest einen Fusionsobjekt 120 in einer Zusammenführungseinrichtung 122 des Netzwerks 100 die Zusatzmerkmale 114 mit den entsprechenden Kennungen 116 hinzugefügt.
  • In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 mit ihren Kennungen 116 in Ringpuffern 124 des Netzwerks 100 zwischengespeichert. In den Ringpuffern 124 werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 chronologisch gespeichert. Speicherplätze der Ringpuffer 124 werden dabei nacheinander verwendet. Beim Speichern wird so jeweils der Speicherplatz mit dem ältesten Inhalt überschrieben. Wenn die Sensordaten eines oder mehrerer der Sensoren 102 mit einem Zeitversatz eingelesen werden, kann der Zeitversatz durch die Zwischenspeicherung kompensiert werden. Wenn Sensordaten mit dem Zeitversatz eingelesen werden, kann die Kinematikfusion mit den nachträglich extrahierten Kinematikmerkmalen 112 wiederholt werden. So können für die Kinematikfusion jeweils zeitgleich erfasste Kinematikmerkmale 112 verwendet werden und eine Genauigkeit der Kinematikfusion erhöht werden. Die Zusatzmerkmale 114 verbleiben zumindest so lange im Ringpuffer 124, bis sie dem passenden Fusionsobjekt 120 zugeordnet werden können.
  • In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 und Zusatzmerkmale 114 pro Sensor 102 in eigenen Ringpuffern 124 zwischengespeichert. So kann eine Vermischung der Merkmale bei zufällig gleichlautenden Kennungen 116 verhindert werden.
  • In einem Ausführungsbeispiel wird das Fusionsobjekt 120 unter Verwendung der Zusatzmerkmale 114 in einer Plausibilisierungseinrichtung 126 des Netzwerks 100 plausibilisiert. Die Plausibilisierungseinrichtung 126 ordnet dem Fusionsobjekt 120 einen Zuverlässigkeitswert 128 zu. Beispielsweise kann bei einem Fusionsobjekt 120 eine Inkonsistenz erkannt werden, wenn sich ein Zusatzmerkmal 114 plötzlich ändert. Dem Fusionsobjekt 120 kann bei einer Inkonsistenz ein verringerter Zuverlässigkeitswert 128 zugewiesen werden. Der Zuverlässigkeitswert 128 kann bei nachfolgenden Verarbeitungsschritten berücksichtigt werden.
  • Eine Inkonsistenz kann beispielsweise erkannt werden, wenn sich der Typ des Fusionsobjekts 120, die Farbe des Fusionsobjekts 120, die Größe des Fusionsobjekts 120, die Masse des Fusionsobjekts 120 und/oder das Material des Fusionsobjekts 120 plötzlich ändert.
  • In einem Ausführungsbeispiel werden die Kinematikmerkmale 112 aus den Sensordaten des Sensors 102, der das veränderte Zusatzmerkmal 114 erfasst hat, aus der Kinematikfusion ausgeschlossen und die Kinematikfusion unter Verwendung der verbleibenden Kinematikmerkmale 112 wiederholt, um ein verbessertes Fusionsobjekt 120 zu erhalten.
  • Nachfolgend werden mögliche Ausgestaltungen der Erfindung nochmals zusammengefasst bzw. mit einer geringfügig anderen Wortwahl dargestellt.
  • Es wird eine Fusionsverbesserung vorgestellt.
  • Ein computergesteuertes Auto benötigt ein Wahrnehmungssystem. Da es viele verschiedene Parameter gibt, die von den Sensoren erfasst werden müssen, und auch für eine bessere Leistung in Präzision und Zuverlässigkeit, ist es üblich, alle Sensoren in eine sogenannte „Fusion“ einzubeziehen, die versucht, die Eingaben aller Sensoren abzugleichen und ein konsolidiertes Bild der Umgebung auszugeben.
  • Die Fusion bezieht sich dabei insbesondere auf eine Objektfusion, im Gegensatz zu anderen Arten, die möglich sind.
  • Typische Implementierungen solcher Fusionssysteme beinhalten einen Assoziationsalgorithmus, der versucht, Übereinstimmungen zwischen bereits verfolgten Objekten und neuen eingehenden Objekten herzustellen. Die Assoziation basiert auf einer Art „Entfernungsmessung“, die einen Wert der Ähnlichkeit zwischen den bereits verfolgten Objekten und den neu eingehenden Objekten zuweist. Dieses Matching erfolgt typischerweise auf der Grundlage kinematischer Merkmale der Objekte basierend auf Position, Geschwindigkeit, Beschleunigung usw. Selten hängt dieses Matching von anderen Merkmalen der Objekte, wie z.B. Farbe ab, da nur die Kamera die Farbe bestimmen kann.
  • Einige Fusionsimplementierungen verwenden einen Ringpuffer für die eingehenden Messungen, um mit Messinformationen außerhalb der Reihenfolge umgehen zu können, die beispielsweise von einer Quelle, wie einer Kameraeinheit am Straßenrand stammen, die aufgrund von Verarbeitungs- und Kommunikationsverzögerungen alte Informationen senden kann.
  • Wertvolle verfügbare Informationen, wie die Farbe des Fahrzeugs (von der Kamera), die Metallmasse (vom Radar) und andere, gehen typischerweise während dieses Fusionsprozesses verloren und/oder werden für den Assoziationsprozess nicht berücksichtigt. Auch bei der Betrachtung können nur die verfolgten Informationen berücksichtigt werden, bei denen es sich um eine fusionierte Information aller Eingaben bis zu diesem Zeitpunkt handelt.
  • Hier wird eine Fusion vorgestellt, bei der zumindest ein erster Ringpuffer verwendet wird, um mit Informationen außerhalb der Reihenfolge umzugehen, zusätzlich wird ein zweiter Ringpuffer verwendet, der alle aus jeder Messung verfügbaren Informationen enthält. Insbesondere werden alle Informationen, die nicht im Assoziations-/Fusionsprozess verwendet werden, in dem zweiten Ringpuffer parallel zum ersten Ringpuffer gespeichert, der die für die Algorithmen relevanten Informationen enthält. Insbesondere werden für jedes verfolgte Objekt dabei nicht nur die relevanten Tracking-Informationen verfolgt, sondern auch eine Liste von Verweisen auf die Originaldaten in den Ringpuffern.
  • Die Verfügbarkeit dieser Informationen ermöglicht es, die Ausgabe der Fusion mit allen gesammelten Daten, die bei der Fusion keine Rolle spielen, zu verbessern und/oder anzureichern. Darüber hinaus können diese verfügbaren Informationen für eine bessere Fusion genutzt werden. Wenn beispielsweise festgestellt wird, dass ein verfolgtes Objekt ein Produkt von Messungen ist, bei denen sich beispielsweise die Farbe von einer Messung zur anderen Messung ändert, können abweichende Messungen eliminiert werden (z. B. mit einem Algorithmus der RANSAC-Familie).
  • Die eingehenden Messungen werden in relevante Informationen für Assoziations-/Fusions-/Tracking-Algorithmen und „zusätzliche Informationen“ aufgeteilt. Beide Informationen werden in Ringpuffern gespeichert, die für jeden Sensor unabhängig sind.
  • Der Assoziations-/Fusionspfad entspricht dem eines hochmodernen Fusionssystems. Der einzige Unterschied besteht darin, dass zu jedem verfolgten Objekt eine Liste von Zeigern/Verweisen auf die ursprünglichen eingehenden Informationen gespeichert wird. Jedes Mal, wenn Messinformationen verwendet werden, um das verfolgte Objekt zu aktualisieren, wird der Liste ein Zeiger hinzugefügt.
  • Am Ende der Fusionsalgorithmen wird die Liste der Originalinformationen gescannt, und alle „nicht für die Algorithmen relevanten“ Informationen werden der Ausgabe hinzugefügt. Dabei werden Plausibilitätsprüfungen durchgeführt, um sicherzustellen, dass die für das Objekt verwendeten Informationen konsistent sind. Wenn z.B. das Objekt einmal als Fahrrad und einmal als LKW in der Historie erkannt wurde, können die Informationen als „weniger zuverlässig“ eingestuft werden, indem beispielsweise die Varianz erhöht oder die Konfidenzbewertung verringert wird. Ausreißer können unter Verwendung von RANSAC oder anderen ähnlichen Algorithmen herausgefiltert werden.
  • Abschließend ist darauf hinzuweisen, dass Begriffe wie „aufweisend“, „umfassend“, etc. keine anderen Elemente oder Schritte ausschließen und Begriffe wie „eine“ oder „ein“ keine Vielzahl ausschließen. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.

Claims (11)

  1. Verfahren zur Sensordatenfusion, wobei von zumindest zwei Sensoren (102) Objektlisten (108) mit Merkmalen erfasster Objekte (106) eingelesen werden, aus den Objektlisten (108) jeweils Kinematikmerkmale (112) und Zusatzmerkmale (114) der erfassten Objekte (106) extrahiert werden und zeitlich zusammen erfassten Kinematikmerkmalen (112) und Zusatzmerkmalen (114) jeweils eine gemeinsame Kennung (116) zugewiesen wird, wobei die von den verschiedenen Sensoren (102) zu einem Objekt (106) erfassten Kinematikmerkmale (112) unter Verwendung einer Kinematikfusion zu einem Fusionsobjekt (120) zusammengeführt werden, wobei bei der Kinematikfusion die zugewiesenen Kennungen (116) der Kinematikmerkmale (112) erhalten werden, wobei unter Verwendung der Kennungen (116) der zu dem Fusionsobjekt (120) zusammengeführten Kinematikmerkmale (112) die Zusatzmerkmale (114) mit den entsprechenden Kennungen (116) zu dem Fusionsobjekt (120) hinzugefügt werden.
  2. Verfahren gemäß Anspruch 1, bei dem die Zusatzmerkmale (114) mit ihren Kennungen (116) in einem Merkmalspuffer gespeichert werden.
  3. Verfahren gemäß Anspruch 2, bei dem die Zusatzmerkmale (114) im Merkmalspuffer nach einer vordefinierten Speicherdauer gelöscht werden.
  4. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das Fusionsobjekt (120) unter Verwendung der hinzugefügten Zusatzmerkmale (114) plausibilisiert wird.
  5. Verfahren gemäß Anspruch 4, bei dem das Fusionsobjekt (120) mit einer verringerten Zuverlässigkeit bewertet wird, wenn beim Plausibilisieren eine Inkonsistenz der Zusatzmerkmale (114) erkannt wird.
  6. Verfahren gemäß einem der Ansprüche 4 bis 5, bei dem Kinematikmerkmale (112) verworfen werden, deren Zusatzmerkmale (114) eine Inkonsistenz aufweisen.
  7. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Kinematikmerkmale (112) mit ihren Kennungen (116) in einem Kinematikpuffer gespeichert werden, wobei die Kennungen (116) eine chronologische Reihenfolge der Kinematikmerkmale (116) definieren, wobei die Kinematikmerkmale (112) der verschiedenen Sensoren (102) bei der Kinematikfusion unter Verwendung der chronologischen Reihenfolge zu dem Fusionsobjekt (120) zusammengeführt werden.
  8. Verfahren gemäß Anspruch 7, bei dem zeitverzögert eingelesene Kinematikmerkmale (112) unter Verwendung der Kennungen (116) in die chronologische Reihenfolge eingereiht werden.
  9. Netzwerk (100) zur Sensordatenfusion, wobei das Netzwerk (100) dazu konfiguriert ist, das Verfahren gemäß einem der vorhergehenden Ansprüche in entsprechenden Einrichtungen auszuführen, umzusetzen und/oder anzusteuern.
  10. Computerprogrammprodukt, das dazu eingerichtet ist, einen Prozessor bei Ausführung des Computerprogrammprodukts dazu anzuleiten, das Verfahren gemäß einem der Ansprüche 1 bis 8 auszuführen, umzusetzen und/oder anzusteuern.
  11. Maschinenlesbares Speichermedium, auf dem das Computerprogrammprodukt gemäß Anspruch 10 gespeichert ist.
DE102022206345.7A 2022-06-23 2022-06-23 Verfahren und Netzwerk zur Sensordatenfusion Pending DE102022206345A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022206345.7A DE102022206345A1 (de) 2022-06-23 2022-06-23 Verfahren und Netzwerk zur Sensordatenfusion
PCT/EP2023/066657 WO2023247550A1 (de) 2022-06-23 2023-06-20 Verfahren und netzwerk zur sensordatenfusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022206345.7A DE102022206345A1 (de) 2022-06-23 2022-06-23 Verfahren und Netzwerk zur Sensordatenfusion

Publications (1)

Publication Number Publication Date
DE102022206345A1 true DE102022206345A1 (de) 2023-12-28

Family

ID=87003040

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022206345.7A Pending DE102022206345A1 (de) 2022-06-23 2022-06-23 Verfahren und Netzwerk zur Sensordatenfusion

Country Status (2)

Country Link
DE (1) DE102022206345A1 (de)
WO (1) WO2023247550A1 (de)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205180A1 (de) * 2014-03-20 2015-09-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10663974B2 (en) * 2016-11-23 2020-05-26 Electronics And Telecommunications Research Institute Object recognition device, autonomous driving system including the same, and object recognition method using the object recognition device
CA3161616A1 (en) * 2019-11-13 2021-05-20 Youval Nehmadi Autonomous vehicle environmental perception software architecture
DE102020117340A1 (de) * 2020-07-01 2022-01-05 Zf Cv Systems Europe Bv Verfahren zur Umgebungserfassung mit wenigstens zwei unabhängigen bildgebenden Umgebungserfassungssensoren, Vorrichtung zur Durchführung des Verfahrens, Fahrzeug sowie entsprechend ausgelegtes Computerprogramm
US11775615B2 (en) * 2020-12-04 2023-10-03 Toyota Research Institute, Inc. System and method for tracking detected objects

Also Published As

Publication number Publication date
WO2023247550A1 (de) 2023-12-28

Similar Documents

Publication Publication Date Title
DE102016223422A1 (de) Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
DE102012013492A1 (de) Verfahren zur Positionsbestimmung
DE102016205433A1 (de) Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
DE102013205952A1 (de) Rekonfigurierbares System zur Detektion eines freien Pfads
DE102017208718A1 (de) Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
DE102015008879A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
DE112018008077T5 (de) Globale Kartenerstellung unter Verwendung lokaler bordeigener Karten, die durch Flottenbewegungsbahnen und -beobachtungen erstellt wurden
DE112018004108T5 (de) Bildsammelsystem, bildsammelverfahren, bildsammelvorrichtung, aufzeichnungsmedium und fahrzeugkommunikationsvorrichtung
DE102017207442A1 (de) Verfahren und Vorrichtung zum Klassifizieren von Objekten im Umfeld eines Kraftfahrzeuges
DE102018004057A1 (de) Verfahren und System zum Bestimmen des Versatzes eines Lenkradwinkelsensors
DE112018003180T5 (de) Risikoinformations-sammeleinrichtung
DE102018222169A1 (de) Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs
EP2320384B1 (de) Verfahren zur Kennzeichenerkennung und Mautkategorisierung von Fahrzeugen
DE102016009117A1 (de) Verfahren zur Lokalisierung eines Fahrzeugs
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102013210725A1 (de) Verfahren und Vorrichtung zum Detektieren von Verkehrszeichen
DE112015003988T5 (de) Freiraumerkennungsvorrichtungsvorrichtung und Freiraumerkennungsverfahren
DE102022206345A1 (de) Verfahren und Netzwerk zur Sensordatenfusion
DE102018132627A1 (de) Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels zeitlicher Fusion von Bildern durch ein künstliches neuronales Netz; Steuereinheit, Fahrerassistenzsystem; Computerprogrammprodukt
DE102018202571A1 (de) Verfahren und Vorrichtung zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug
DE102017214729A1 (de) Verfahren und Vorrichtung zum Bestimmen einer hochgenauen Position und zum Betreiben eines automatisierten Fahrzeugs
DE102014206227A1 (de) Stereokamerasystem
DE102017217063A1 (de) Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten
DE112017005211T5 (de) Anzeigesteuerungsvorrichtung
DE102012020778B4 (de) Verfahren zum Labeln einer Sequenz von in zeitlicher Abfolge aufgenommenen Bildern mit integrierter Qualitätsprüfung