DE102018114042A1 - Vorrichtung, verfahren und system zur multimodalen fusionsverarbeitung von daten mit mehreren verschiedenen formaten, die von heterogenen vorrichtungen erfasst wurden - Google Patents

Abstract

Vorrichtung, Verfahren und System zur hybriden multimodalen Datenfusion, um Daten mit mehreren verschiedenen Formaten durch eine zentralisierte Datenfusionsverarbeitung zusammenzuführen und um die zusammengeführten Daten durch eine verteilte Datenverarbeitung an einen Satz heterogener Sensorvorrichtungen zu senden. Die hybride multimodale Datenfusionsvorrichtung umfasst ein multimodales Fusionsmodul, das so konfiguriert ist, dass dieses in einem ersten Modus zusammengeführte Daten mit mehreren unterschiedlichen Formaten empfängt, die von einem Satz heterogener Vorrichtungen erfasst werden und das zum Betrieb in einem zweiten Modus konfiguriert ist, um die zusammengeführten Daten an jede der heterogenen Vorrichtungen zu senden. Ein Zuordnungsmodul zum Zusammenführen von Daten mit mehreren verschiedenen Formaten, die von jeder der heterogenen Vorrichtungen erfasst werden, und zum Senden der zusammengeführten Daten an das multimodale Fusionsmodul. Eine Fusionsstreckendatei zum Speichern zuvor zusammengeführter Daten, um zu ermöglichen, dass das multimodale Fusionsmodul Cueing-Informationen basierend auf den gespeicherten zuvor zusammengeführten Daten an die heterogenen Vorrichtungen sendet.

Description

• EINLEITUNG
• Das vorliegende System bezieht sich allgemein auf das Gebiet der Datenfusion und insbesondere auf eine Vorrichtung, ein Verfahren und ein System zur hybriden Datenfusion zum Zusammenführen von Daten mit mehreren verschiedenen Formaten durch eine zentralisierte Datenfusionsverarbeitung und zum Senden der zusammengeführten Daten durch eine verteilte Datenverarbeitung an einen Satz heterogener Sensorvorrichtungen.
• Die Sensordatenfusion spielt bei fortschrittlichen Sensoren in Pkw und Nutzfahrzeugen eine zentrale Rolle. Ein einzelner eigenständiger Sensor besitzt Einschränkungen bezüglich der Reichweite und des Sichtfeldes und kann möglicherweise keine ausreichende und zuverlässige 360-Grad-Abdeckung bereitstellen. Um die Beschränkungen einzelner Sensoren zu überwinden, werden mehrere Sätze heterogener Sensoren verwendet, um ein vergrößertes Sichtfeld und einen größeren Bereich von Daten über die Fahrumgebung zu erfassen und bereitzustellen. Daher werden im Automobilbereich viele heterogene Sensoren an Bord verwendet, z. B. GPS-, FM-CW-LIDAR- „Lichtdetektions- und Entfernungsmess“-Radare, Impuls- und FSK-Radare sowie CCD-, CMOS- oder andere Kamera-/Videobildmodulsensoren zur Bereitstellung umfangreicherer Daten und eine zuverlässige 360-Grad-Abdeckung der Fahrumgebung.
• Dementsprechend ist es wünschenswert, eine hybride zentralisierte und verteilte Architektur zu haben, um die von den heterogenen Sensoren erzeugten Daten zusammenzuführen und die von den heterogenen Vorrichtungen empfangenen mehreren Sensordaten mit unterschiedlichen Formaten effizient in einem hybriden internen zentralisierten und verteilten Verarbeitungshub verarbeiten zu können. Zusätzlich können andere Vorteile durch die Datenfusion erhalten werden, da das Zusammenführen der erfassten Daten von verschiedenen heterogenen Sensoren nicht nur die Datenabdeckung über Zustände um ein Fahrzeug erweitert, sondern ebenfalls die Zuverlässigkeit des gesamten Erfassungssystems im Falle von Ausfällen einzelner oder mehrerer Sensoren erhöht. Das heißt, die zusammengeführten Daten liefern überlappende oder redundante Daten zur Verarbeitung von den mehreren Sensoren, was Integritätsprüfungen empfangener Daten ermöglicht.
• Zusätzlich ist es wünschenswert, zuvor zusammengeführte Daten, die in einer Fusionsstreckendatei gespeichert sind, von den heterogenen Sensoren zu verwenden, um verbesserte Cueing-Lösungen basierend auf den zuvor zusammengeführten Daten zu erzeugen, die an einzelne Sensoren zur Rauschfilterung, zur Anpassung von Sensorerkennungsschwellenwerten sowie zur Anpassung anderer Sensorattribute, wodurch die Genauigkeit und Zuverlässigkeit des Sensors effektiv erhöht wird, verteilt werden.
• Zusätzlich ist es wünschenswert, ein mehrstufiges Modulschema für jeden der heterogenen Sensoren zu verwenden, um mehrere Datentypen zu zusammenführen, die mittels Prozessen auf Block-, Merkmal- und Sensorebene empfangen werden.
• Zusätzlich ist es wünschenswert, Fusionskonturmodelle zum Verbessern von Messungen zu erzeugen, die von den heterogenen Sensoren empfangen und an das multimodale Fusionsmodul für eine verbesserte Sensorgenauigkeit übermittelt werden.
• Weiterhin werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung aus der nachfolgenden ausführlichen Beschreibung der Vorrichtung und den beigefügten Ansprüchen, die in Verbindung mit den zugehörigen Zeichnungen und dem Hintergrund der Offenbarung aufgenommen werden, ersichtlich.
• KURZDARSTELLUNG
• Eine Vorrichtung wird für eine hybride multimodale Datenfusion bereitgestellt. Die Vorrichtung umfasst ein multimodales Fusionsmodul, das so konfiguriert ist, dass dieses in einem ersten Modus zusammengeführte Daten mit mehreren verschiedenen Formaten empfängt, die von einem Satz heterogener Vorrichtungen erfasst werden und um in einem zweiten Modus zu arbeiten, um die zusammengeführten Daten an jede der heterogenen Vorrichtungen zu senden und ein zugeordnetes Modul zum Zusammenführen der Daten mit mehreren verschiedenen Formaten, die von jeder der heterogenen Vorrichtungen erfasst werden, und zum Senden der zusammengeführten Daten an das multimodale Fusionsmodul; und ferner eine Fusionsstreckendatei zum Speichern der zuvor zusammengeführten Daten, um zu ermöglichen, dass das multimodale Fusionsmodul Cueing-Information, basierend auf den gespeicherten zuvor zusammengeführten Daten, an die heterogenen Vorrichtungen sendet.
• Es wird ein Verfahren für eine hybride multimodale Datenfusion bereitgestellt. Das Verfahren umfasst das Arbeiten in einem von unten nach oben gerichteten (Bottom-Up-)Modus zum Zusammenführen von Daten, die von einem Satz heterogener Vorrichtungen erfasst wurden und das Arbeiten in einem von oben nach unten gerichteten (Top-Down-)Modus, um zusammengeführte Daten an einen Satz heterogener Vorrichtungen zu verteilen und um des Weiteren zuvor zusammengeführte Daten, die von den heterogenen Vorrichtungen empfangen wurden, zu speichern, um Vorhersagedaten, basierend auf empfangenen und gespeicherten sowie zuvor zusammengeführten Daten, zu erzeugen und um diese an die heterogenen Vorrichtungen zu verteilen, um deren Erfassungsfähigkeiten zu verbessern.
• Figurenliste
• Die vorliegende Offenbarung wird nachfolgend in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und
• 1 ist ein Funktionsblockdiagramm, das ein Sensormanagementsystem in einem Fahrzeug gemäß verschiedenen beispielhaften Ausführungsformen darstellt;
• 2 ist ein Funktionsblockdiagramm, das ein Mehrebenen-Fusionsdiagramm eines Moduls auf einer Objektebene, einer Merkmalsebene und einer Sensorebene, die mit dem multimodalen Fusionssystem gekoppelt sind, gemäß einer beispielhaften Ausführungsform zeigt;
• 3 ist ein Funktionsblockdiagramm, das ein hybrides zentralisiertes und verteiltes Architekturdiagramm der Mehrebenen-Bottom-Up- und Top-Down-Fusionsverarbeitung des multimodalen Fusionssystems gemäß einer beispielhaften Ausführungsform zeigt;
• 4A ist eine Zeitlinie, die eine zeitliche Zusammenführungszeitlinie der multimodalen Zusammenführung der zentralisierten Zusammenführungsarchitektur gemäß einer beispielhaften Ausführungsform zeigt;
• 4B ist ein Funktionsblockdiagramm, das ein multimodales zeitliches Fusionsschema der zentralisierten Fusionsarchitektur gemäß einer beispielhaften Ausführungsform zeigt;
• 5 ist ein Funktionsblockdiagramm, das ein Radarverarbeitungsdiagramm des Radarverarbeitungssystems des multimodalen Fusionssystems gemäß einer beispielhaften Ausführungsform darstellt;
• 6 ist ein Funktionsblockdiagramm, das ein LIDAR-Verarbeitungsdiagramm des LIDAR-Verarbeitungssystems des multimodalen Fusionssystems gemäß einer beispielhaften Ausführungsform darstellt;
• 7 ist ein Funktionsblockdiagramm, das ein Bildverarbeitungsdiagramm des Bildverarbeitungssystems des multimodalen Fusionssystems gemäß einer beispielhaften Ausführungsform darstellt;
• 8 ist ein Funktionsblockdiagramm, das ein Streckenebenen-Sensorverarbeitungsdiagramm des multimodalen Fusionssystems gemäß einer beispielhaften Ausführungsform darstellt;
• 9A, 9B und 9C sind Diagramme, die ein Konturmodelldiagramm für das multimodale Fusionsmodulsystem gemäß einer beispielhaften Ausführungsform darstellen;
• 10 ist ein Funktionsblockdiagramm, das ein multimodales Fusionsdiagramm des multimodalen Fusionsmodulsystems gemäß einer beispielhaften Ausführungsform darstellt;
• 11A und 11B sind Funktionsblockdiagramme, die ein LIDAR-Clustering-Diagramm des multimodalen Fusionsmodulsystems gemäß einer beispielhaften Ausführungsform veranschaulichen;
• 12A, 12B und 12C sind Funktionsblockdiagramme, die ein Diagramm einer Radar-Rohstrecke, die mit der Zielkonturfusion des multimodalen Modulsystems gemäß einer beispielhaften Ausführungsform verbunden ist, veranschaulichen;
• 13 ist ein Funktionsblockdiagramm, das eine grafische Ansicht der Bildverfolgungszuordnungen des Streckenhöhensensormoduls des multimodalen Modulsystems gemäß einer beispielhaften Ausführungsform darstellt.
• AUSFÜHRLICHE BESCHREIBUNG
• Die nachfolgende ausführliche Beschreibung ist lediglich veranschaulichender Natur und soll die Ausführungsformen des Gegenstandes oder die Anwendungen und Verwendungen derartiger Ausführungsformen in keiner Weise einschränken. Wie hierin verwendet, bedeutet das Wort „exemplarisch“ „dient als ein Beispiel, eine Instanz oder Veranschaulichung“. Jede hierin als exemplarisch beschriebene Anwendung ist gegenüber anderen Anwendungen nicht notwendigerweise als bevorzugt oder vorteilhaft auszulegen. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein.
• Die Techniken und Technologien können hierin in Bezug auf die funktionellen und/oder logischen Blockkomponenten und unter Bezugnahme auf symbolische Darstellungen von Vorgängen, Programmverarbeitungen und Funktionen beschrieben werden, die von verschiedenen Computerkomponenten oder Vorrichtungen durchgeführt werden können. Diese Vorgänge, Programme und Funktionen werden zuweilen als Computer-ausgeführt, computerisiert, Software-implementiert oder Computerimplementiert bezeichnet. Darüber hinaus können die verschiedenen in den Figuren dargestellten Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein, die dafür konfiguriert sind, die spezifischen Funktionen auszuführen. So kann beispielsweise eine Ausführungsform eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Geräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, ein Modul (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
• Unter Bezugnahme auf 1 ist ein Fahrzeug 100, das ein multimodales Fusionssystem 110 aufweist, gemäß exemplarischen Ausführungsformen dargestellt. Das Fahrzeug 100 umfasst eine Vielzahl von Sensoren 120 und ein multimodales Fusionsmodul 140 des multimodalen Fusionssystems 110. Die Sensoren erfassen beobachtbare Zustände des Fahrzeugs 100 und können unter anderem auch Bildsensoren, LIDAR-Sensoren und Radarsensoren umfassen. Im Allgemeinen ist jeder Sensor der Vielzahl von Sensoren spezifisch an das multimodale Fusionsmodul 140 des Fahrzeugs 100 gekoppelt und konfiguriert, um externe Umgebungen des Fahrzeugs 100 zu erfassen. Das multimodale Fusionsmodul 140 empfängt Sensorsignale, die von den Sensoren 120 erzeugt werden, verarbeitet die Sensorsignale, um Sensordaten zu erhalten, und führt die Sensordaten zusammen. In verschiedenen Ausführungsformen führt das multimodale Fusionsmodul 140 die Sensordaten zusammen, basierend auf zentralisierten und multimodalen Verarbeitungsverfahren und -systemen, die hierin offenbart werden. Obwohl die abgebildete Ausführungsform die mobile Plattform als ein Fahrzeug 100 umsetzt, können die hier vorgestellten Konzepte in anderen mobilen Plattformen, wie etwa Flugzeugen, Raumfahrzeugen, Wasserfahrzeugen, Motorrädern, Robotern, Robotervorrichtungen und dergleichen, eingesetzt werden. Darüber hinaus können die hier vorgestellten Konzepte auch in nicht-mobilen Plattformanwendungen eingesetzt werden, falls dies gewünscht wird.
• Wie bereits erwähnt, umfasst das Fahrzeug 100 im Allgemeinen eine Vielzahl von Sensoren 120, Vorrichtungen und Software, die zum Erfassen von Informationen ausreichen, und die erfassten Informationen dabei in digitale Informationen umwandeln, und die digitalen Informationen dem multimodalen Fusionsmodul 140 bereitstellen. Im Allgemeinen ist jeder Sensor der Vielzahl von Sensoren konfiguriert, um Aspekte der Umgebung des Fahrzeugs 100 zu erfassen.
• Das multimodale Fusionssystem kann mit mindestens einem Sender-Empfänger 136 gekoppelt werden, der mindestens einen Sender und einen Empfänger umfasst, die funktionsfähig mit dem Prozessor 142 verbunden sind. Der Sender-Empfänger 136 kann das multimodale Fusionsmodul 140 in die Lage versetzen, die Kommunikationsverbindungen zu den On-Board-Komponenten und externen Kommunikationsquellen, einschließlich der drahtlosen Kommunikation, herzustellen und aufrechtzuerhalten. Der Sender-Empfänger 136 kann die Signalverarbeitung (z. B. Digitalisierung, Datenkodierung, Modulation usw.), wie sie in der Technik bekannt ist, durchführen. In einigen Ausführungsformen ist der Sender-Empfänger 136 in dem multimodalen Fusionsmodul 140 integriert.
• Mit weiterführendem Verweis auf 1 werden die Komponenten des multimodalen Fusionsmoduls 140 und dessen Funktionen beschrieben. In der dargestellten Ausführungsform umfasst das Computersystem des multimodalen Fusionsmoduls 140 einen Prozessor 142, der kommunikativ mit einem Speicher 144, einer Schnittstelle 146, einem Speichermedium 148, einen Bus 150 und einer optionalen Speicherplatte 158 verbunden ist. In verschiedenen Ausführungsformen führt das multimodale Fusionssystem 110 (und genauer gesagt das multimodale Fusionsmodul 140) Aktionen und andere Funktionen aus, die nachfolgend in Verbindung mit 2 beschrieben werden. Der Prozessor 142 führt die dem multimodalen Fusionsmodul 140 zugewiesenen Berechnungs- und Steuerfunktionen aus und kann jede Art von Modul oder mehrere Module, einzelne integrierte Schaltungen, wie beispielsweise ein Mikromodul, einzelne integrierte Schaltungen, wie beispielsweise ein Mikroprozessor oder eine geeignete Anzahl an integrierten Schaltungen und/oder Leiterplatten, die zum Ausführen der beschriebenen Operationen, Aufgaben und Funktionen zusammenwirken, indem sie elektrische Signale manipulieren, die Datenbits an Speicherplätzen im Systemspeicher darstellen sowie andere Signalverarbeitungen, umfassen.
• Während des Betriebes lädt und führt der Prozessor 142 ein oder mehrere Programme, Algorithmen und Regeln aus, die als Anweisungen und Anwendungen 152 im Speicher 144 enthalten sind und steuert als solches den allgemeinen Betrieb des Steuersystems 130 sowie das Computersystem des multimodalen Fusionsmoduls 140. Beim Ausführen der hierin beschriebenen Prozesse lädt und führt der Prozessor 142 mindestens Programm 156 aus.
• Ein computerlesbares Speichermedium, wie zum Beispiel ein Speicher 144, eine Speichervorrichtung 148 oder eine optionale Speicherplatte 158, kann sowohl als Speicher als auch als Notizblock verwendet werden. Die Speicherstellen, an denen Datenbits gehalten werden, sind physikalische Orte, die bestimmte elektrische, magnetische, optische oder organische Eigenschaften, die den Datenbits entsprechen, aufweisen. Der Speicher 144 kann eine beliebige Art eines geeigneten, computerlesbaren Speichermediums sein. So kann beispielsweise der Speicher 144 verschiedene Typen von dynamischem Random Access Memory (DRAM), wie SDRAM, verschiedene Typen von statischem RAM (SRAM) und die verschiedenen Permanentspeichertypen (PROM, EPROM und Flash), beinhalten. In bestimmten Beispielen befindet sich der Speicher 144 auf dem gleichen Computerchip wie der Prozessor 142 und/oder ist ortsgleich damit angeordnet. In der dargestellten Ausführungsform speichert der Speicher 144 die vorgenannten Anweisungen und Anwendungen 152 zusammen mit einer oder mehreren konfigurierbaren Variablen in gespeicherten Werten 154.
• Die Speichervorrichtung 148 ist ein computerlesbares Speichermedium in Form eines beliebigen geeigneten Speichermediums, einschließlich Direktzugriffsspeichervorrichtungen, wie beispielsweise Festplattenlaufwerke, Flashsysteme, Diskettenlaufwerke und optische Laufwerke. In einer exemplarischen Ausführungsform umfasst das Speichergerät 148 ein Programmprodukt, aus dem der Speicher 144 ein Programm 156 empfangen kann, das eine oder mehrere Ausführungsformen eines oder mehrerer Verfahren der vorliegenden Offenbarung ausführt. In einer weiteren exemplarischen Ausführungsform kann das Programmprodukt direkt im Speicher 144 und/oder auf einer Speicherplatte (z. B. optionale Speicherplatte 158) gespeichert sein und/oder anderweitig darauf zugreifen, wie im Folgenden erläutert.
• Die zuvor zusammengeführten Daten der Streckendateien können in einem computerlesbaren Speichermedium, wie dem Speicher 144, in der Speichervorrichtung 148 oder auf der optionalen Speicherplatte 158 gespeichert werden. Der Bus 150 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Computersystems des multimodalen Fusionsmoduls 140. Der Bus 150 kann aus allen zur Verbindung von Computersystemen und Komponenten geeigneten physischen oder logischen Mitteln bestehen. Dies schließt ohne Einschränkung auch direkt verdrahtete Verbindungen, Faseroptik, sowie Infrarot- und Drahtlosbustechnologien ein. Während des Betriebs wird das Programm 156 im Speicher 144 abgelegt und vom Prozessor 142 geladen und ausgeführt.
• Die Schnittstelle 146 ermöglicht die Kommunikation innerhalb des multimodalen Fusionsmoduls 140, beispielsweise über einen Systemtreiber und/oder über ein anderes Computersystem und kann unter Verwendung jedes geeigneten Verfahrens und jeder geeigneten Vorrichtung implementiert werden. In einer Ausführungsform erhält die Schnittstelle 146 die Daten von den Sensoren 120 und/oder dem Sender-Empfänger 136. Die Schnittstelle 146 kann eine oder mehrere Netzwerkschnittstellen beinhalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 146 kann zudem eine oder mehrere Netzwerkschnittstelle(n) für die Kommunikation mit Technikern und/oder eine oder mehrere Speicherschnittstellen für die Verbindung mit Speichervorrichtungen (wie beispielsweise die Speichervorrichtung 148) beinhalten.
• Mit Bezug auf 2 und unter fortgesetzter Bezugnahme auf 1 zeigt 2 ein Mehrebenen-Fusionssystem 200 mit einem zentralisierten Fusionssystem 210 und einem hierarchischen Hybridsystem 220 für jeden der Sensoren 120 von 1. Das Mehrebenen-Fusionssystem 200 transformiert Sensordaten in geeignete Koordinatendaten für die Datenfusion. Das Mehrebenen-Fusionssystem 200 verwendet algorithmische Lösungen zum Transformieren von Sensordaten und zum Erzeugen von Darstellungen der Daten höherer Ebene, wie zum Beispiel zusammengeführte Objektlisten, Belegungsgittern und zusammengeführte Stixel, die in Szeneninterpretationswerkzeugen verwendet werden. Darüber hinaus können die Vorlagenübereinstimmungssuche und semantische Kennzeichnung verwendet werden, um ein semantisches Verständnis von den Darstellungen der externen Fahrumgebung aus abgeleiteten Daten von den Sensor-, Merkmals- und Objektverarbeitungsebenen bereitzustellen. In verschiedenen Ausführungsformen umfasst das hierarchische Hybridsystem 220 ein Sensorebenen-Verarbeitungsmodul 230, ein Merkmalsebenen-Verarbeitungsmodul und ein Obj ektebenen-Verarbeitungsmodul 250.
• Zu Beginn erzeugen die heterogenen Sensoren (Sensoren 120 von 1) durch Kamera, LIDAR, Radar, V2X, Massenquelle usw. generierte Sensorsignale, die durch das Sensorebenen-Verarbeitungsmodul 230 verarbeitet werden, um binäre Daten zu erhalten, auf die als Sensorebenendaten eines Ziels von Interesse Bezug genommen wird. Diese Daten auf Sensorebene sind Daten auf niedrigster Ebene und umfassen RGB-Pixel, 3D-Voxel, Radarpunkterkennung mit Vertrauensattributebereich, Geschwindigkeit, Winkel, RCS, Bewegungsrichtung, stationäre Identifizierungskennzeichen usw. Dieses Sensorebenen-Datenmodul wird direkt an das zentralisierte Fusionssystem 210 zur Datenfusionsverarbeitung und zum weiteren Speichern in Streckendateien gesendet. Zusätzlich werden die Sensorebenendaten 235 zu dem Merkmalsebenen-Verarbeitungsmodul 240 zur weiteren Merkmalsebenen-Verarbeitung weitergeleitet. Das zentralisierte Fusionssystem 210 kann Verknüpfungsstrategien, die Gating-Techniken und Zuweisungsstrategien zum Zusammenführen der verschiedenen empfangenen Daten auf Sensorebene umfassen, verwenden.
• Zusätzlich können die Sensordaten in zusammengeführten Streckendateien oder einem anderen ähnlichen Typ von Datenstruktur zur späteren Verwendung sowie zur Verteilung der zusammengeführten Daten an die anderen heterogenen Sensoren beibehalten werden. Mit anderen Worten, Sensorebenendaten von bestimmten Sensoren können für eine Überkreuzanwendung durch andere heterogene Sensoren durch das multimodale Fusionssystem umgewandelt und gespeichert werden. Es können ebenfalls Filter- und Cueing-Verfahren angewendet werden, bei denen zusammengeführte Datenstrecken gefiltert und in einem verteilten Zusammenführungsschema durch eine Strecken-zu-Strecken-Zuordnungsprozedur an den Satz heterogener Sensoren ausgegeben werden.
• Als Nächstes empfängt das Merkmalsebenen-Verarbeitungsmodul 240 die Sensorebenendaten 235 und erzeugt Merkmalskarten, Superpixel, Stixel und Tracklets 245 von den empfangenen Sensorebenendaten 235. Mit anderen Worten werden Merkmale durch eine Pixelebenenverarbeitung unter Verwendung algorithmischer Lösungen von den Binärsensorebenendaten ermittelt, um Merkmalskarten, Stixel, Tracklets und andere ähnliche Verfahren zu bestimmen und die Pixeldaten zu gruppieren und zu ermitteln, um Darstellungen der Fahrumgebung bereitzustellen. In einem Fall können in einer mehrstufigen Darstellung von externen Umgebungen, wenn eine feinere Granularität von Bildern benötigt wird, Stixel- und Gitterverfahren zur Darstellung von Vorstadt- und Stadtszenen verwendet werden. In anderen Fällen werden Stixel- und Freiraumgitter für ländliche Hindernisse verwendet. Darüber hinaus können Stixel ebenfalls verwendet werden, um Ziele in der Umgebung darzustellen. Schließlich kann die Punktwolkendarstellung für statische Hindernisse verwendet werden.
• Die Objektebenenverarbeitung 250 ist die Endstufe des hierarchischen Hybridsystems 220 und auf Schätzungen physikalischer Objekte mittels algorithmischen Lösungen ausgerichtet. Diese Verarbeitung auf Objektebene kann durch das zentralisierte Fusionssystem 210 ausgeführt werden oder in anderen nicht gezeigten Fällen kann diese extern durch Module anderer Sensorvorrichtungen durchgeführt werden. Das heißt, in einigen Fällen wird die Objekterkennung in einer verteilten Weise durch heterogene Sensoren und nicht durch das zentralisierte Fusionssystem 210 durchgeführt. Nichtsdestoweniger ist das zentralisierte Fusionssystem 210 in beiden Fällen so konfiguriert, dass dieses die Daten auf Objektebene von Objektlisten, Attributen und Informationen des Belegungsgitters 260 zur weiteren Verarbeitung empfängt. Objektlisten können Listen von Fußgängern sowie physikalische Fahrzeugobjekte umfassen, und Attribute können Objektattribute für Geschwindigkeit, Entfernung von der Kamera usw. umfassen. Zusätzlich kann eine Klassifizierung und Bewegungseinschätzung durch Algorithmen des zentralisierten Fusionssystems 210 durchgeführt werden. Außerdem können Straßengeometrieeinschätzungen und andere Vorhersagen höherer Ebenen während der Objekterfassung durch das zentralisierte Fusionssystem 210 durchgeführt werden. Daher kann das zentralisierte Fusionssystem 210 Sensor-, Merkmal- und Objektebenendaten des Ziels von Interesse verwenden und kombinieren, um Zustände des Ziels von Interesse in externen Umgebungsdarstellungen zu erhalten.
• Mit Bezug auf 3 und unter fortgesetzter Bezugnahme auf 2 zeigt 3 ein hybrides zentralisiertes und verteiltes Architekturdiagramm des hybriden Datenfusionssystems 300 unter Verwendung eines multimodalen Fusionsmoduls 310, wobei die Bild 330-, Radar 340- und LIDAR 350-Sensormodule jeweils Mehrebenen-Fusionsmodule 360 zur Verarbeitung erfasster Daten aufweisen. Die Mehrebenen-Fusionsmodule 360 umfassen mindestens, sind jedoch nicht beschränkt auf Objektebenenmodule 365, Merkmalsebenenmodule 370 und Sensorebenenmodule 375 zur Objekt-, Merkmals- und Sensorebenenverarbeitung, wie zuvor in 2 dargestellt. Die Mehrebenen-Verarbeitung der Bild 330-, Radar 340- und LIDAR 350-Sensormodule wird zur weiteren Verarbeitung an das Zuordnungs- und Ausrichtungskorrekturmodul 320 gesendet. Mit anderen Worten, das Zuordnungs- und Ausrichtungskorrekturmodul 320 ist so konfiguriert, dass dieses Mehrebenen-Sensordaten zur Verarbeitung empfängt.
• Als Nächstes umfasst das hybride Datenfusionssystem 300 sowohl die zentralisierten als ebenfalls die verteilten Architekturen basierend auf der Anordnung der mehreren Sätze heterogener Sensoren. Zum Beispiel wird im Betrieb des Systems eine verteilte Fusionsarchitektur verwendet, um die Rechenverarbeitung und Kommunikation zu reduzieren, wenn jedoch eine höhere Genauigkeit benötigt wird, wird eine zentralisierte Fusionsarchitektur verwendet. Alternativ kann, basierend auf den verfügbaren heterogenen Sensoren, eine Kombination beider Betriebsmodi verwendet werden, um einen zusammengeführten Zustand eines Ziels von Interesse zu erhalten. Wie erläutert wird in Fällen, in denen die Verarbeitungsmodule jedes der Sensoren mit Streckendaten über Cueing-Informationen der Sensoroperation verbessert sind, ein zentralisierter Zusammenführungsbetriebsmodus verwendet, um die an die Sensormodule zu sendenden Hinweisinformationen zu erzeugen. Das heißt, die Cueing-Information wird zentral durch algorithmische Lösungen des multimodalen Fusionsmoduls 310 aus früheren historischen Streckendaten einer Fusionsstreckendatei 390 erzeugt, die lokal, entfernt oder in der Cloud gespeichert ist. Ein verteilter Betrieb wird zur Kalibrierung von jedem der heterogenen Systeme verwendet, wobei die Cueing-Informationen in einem verteilten Schema, unabhängig einzeln von Signalprozessoren jedes Sensors, verarbeitet werden.
• Zusätzlich ermöglicht es der hybriden zentralisierten und verteilten Fusionsarchitektur, dass das multimodale Fusionsmodul 310 so konfiguriert ist, dass dieses in einem Dualmodus-Verarbeitungsbetrieb arbeitet, in dem in einem Modus ein Top-Down-Prozessablauf stattfindet, in dem Cueing-Informationen enthaltende zusammengeführte Streckendaten an die heterogenen Sensoren gesendet werden. Die Cueing-Informationen können Daten von etwa einem Fusionsziel, einer Konturposition und einer Geschwindigkeit umfassen, und diese Cueing-Informationen werden unter Verwendung eines Rückkopplungswegs direkt von dem multimodalen Fusionsmodul 310 zu jedem der heterogenen Sensoren unter Verwendung eines Mehrweg-Informationsflusses gesendet werden, wobei Signalmodule mittels algorithmischer Lösungen in jedem der heterogenen Sensoren gesendete Informationen verarbeiten, um bei der Kalibrierung oder Bias-Korrektur des individuellen Sensors während des Echtzeitbetriebs Unterstützung zu leisten. Zum Beispiel können die in den gesendeten Streckenverfolgungsdaten enthaltenden Cueing-Informationen durch jedes Sensorsignalmodul weiter verarbeitet werden, um Filterschemata und Erfassungsschwellenebene der Sensoren einzustellen und um die Sensorausrichtung und den Mess-Bias einzuschätzen.
• Wie erwähnt, arbeitet das multimodale Fusionsmodul in einem Dualmodus-Verarbeitungsbetrieb, in dem im zweiten Modus ein Bottom-Up-Prozessfluss stattfindet, wobei die in 3 gezeigten binären Daten oder Sensorebenendaten von jedem der heterogenen Sensoren erfasst werden. Zum Beispiel kann der Bildsensor 330 binäre Daten von RBG-Pixeln, Bereichsrate, Peilung, Peilrate 335 usw. erfassen, die an das Zuordnungs- und Ausrichtungskorrekturmodul 320 gesendet werden. Der Radarsensor 340 erfasst ebenfalls binäre Daten, jedoch eines Bereiches, einer Bereichsrate und einem Peilwinkel 345, die ebenfalls an das Zuordnungs- und Ausrichtungskorrekturmodul 320 gesendet werden. Schließlich erfasst der LIDAR-Sensor 350 binäre Daten von Punktwolken 355, die wiederum an das Zuordnungs- und Ausrichtungskorrekturmodul 320 gesendet werden.
• Das Zuordnungs- und Ausrichtungskorrekturmodul 320 verwendet parametrische Zuordnungs- und Datenausrichtungs-Korrekturlösungen, um die Sensor-, Merkmal- und Objektebenendaten eines interessierenden Ziels von jedem der heterogenen Sensoren zu aggregieren und zu kombinieren. Um solche Zuordnungen durchzuführen, können Datenzuordnungstechniken einschließlich Korrelation, Abstandsmessungen und probabilistischen Ähnlichkeiten verwendet werden. Ausrichtungskorrekturen können durch eine Zielverfolgung von Daten mehrerer Sensoren erkannt werden. Zum Beispiel kann im Fall einer Fehljustierung der Bildverarbeitung ein Prozess eingerichtet werden, um die Bildsensoren auf Grundlage von Bildkoordinaten und Winkelschätzungen von Richtungen des interessierenden Ziels auszurichten; Fehlanpassungswinkeldaten, die nicht mit den Winkelschätzungen korrelieren, werden entfernt und Korrekturen können an der Bildausrichtung vorgenommen werden. Zusätzlich können Winkelkorrekturen basierend auf früheren Winkelinformationen durchgeführt werden, dies würde zu inkrementellen Änderungen der Ausrichtung führen. In diesem Fall basieren Cueing-Informationen auf historischen Winkeldaten.
• Mit Bezug auf 4A und unter fortgesetzter Bezugnahme auf 3 zeigt 4A eine multimodale Fusionszeitverhaltenszeitfolge 400 von Ereignissen des multimodalen Fusionsmoduls, die während des Betriebs empfangenen werden. Das multimodale Fusionsmodul arbeitet in einem zentralisierten multimodalen Datenfusionsschema, um Daten von den heterogenen Sensoren zusammenzuführen, die eine Zeitsynchronisation von ereignisgesteuerten Aktionen von den heterogenen Sensoren erfordern. Solche Ereignisse, die von den heterogenen Sensoren selbst dann erfasst werden, wenn die heterogenen Sensoren bei gleicher Frequenz arbeiten, sind jedoch möglicherweise nicht synchronisiert. Daher werden von Algorithmen des multimodalen Fusionsmoduls Techniken verwendet, um den Betrieb des multimodalen Fusionsmoduls einzustellen, wenn asynchrone Sensordaten von den heterogenen Sensoren empfangen werden. In einem einzigen Ereignis werden Daten des Bildsensors des angetriebenen Datenfusionsschemas, LIDAR-Sensordaten und Radarsensordaten von dem Satz heterogener Vorrichtungen empfangen, vorausgesetzt, dass Sensoren vorhanden sind, die mit diesen Funktionen in Beziehung stehen. Die Sensordaten, die von jedem der Sensoren verarbeitet werden, werden unabhängig und in einer verteilten Weise ausgeführt. Mit anderen Worten, Module der heterogenen Sensoren sind zwar zeitlich so eingestellt, dass diese synchron arbeiten, und verarbeiten die erfassten Daten und alle zusätzlichen empfangenen Daten synchron, können jedoch möglicherweise nicht synchronisiert sein. Das heißt, aufgrund der verteilten Architektur und der unabhängigen Datenverarbeitung durch jeden der Sensoren kann es in einigen Fällen zu Änderungen an der Menge der zusammengeführten Daten, die von jedem der Sensoren während Cueing-Operationen empfangen werden, führen. Dies kann zu zeitlichen Abweichungen des Abschlusses der Verarbeitung der Daten durch jeden heterogenen Sensor während eines Zyklus und dem nachfolgenden Empfang der erfassten Daten durch das Fusionssystem führen.
• In dem Anfangszyklus t₀ wird ein gemeinsamer Zeitstempel für die Ankunftszeit aller Sensordaten erzeugt. Dieser gemeinsame Zeitstempel kann erzeugt werden, da alle Sensordaten in einem Zyklus eingehen, und daher kann eine Ursprungszeittabelle der Ankunftszeit der Sensordaten erzeugt werden. Es gibt jedoch Ereignisse, die zu Abweichungen des ursprünglichen to-Abbildungschemas führen können. Das Fusionssystem kompensiert diese Ereignisse durch Algorithmen zur Vorhersage von Änderungen Δ _[1...4] an der Datenankunftszeit der verarbeiteten Daten von jedem der Sensoren. Zum Beispiel wird zu Beginn des Zyklus t 410 bis zum nachfolgenden t+1 440 Zyklus eine Vorhersage Δ für jede nachfolgende Sensordaten-Ankunftszeit berechnet. Zunächst wird die Vorhersage Δ₁ für die Datenankunftszeit für den Bildsensor berechnet, was zu der Bilddatenkorrekturzeit 415 führt. Als Nächstes wird die Vorhersage Δ₂ für die LIDAR-Datenkorrekturzeit berechnet und diese Δ₂ wird von der Bilddatenkorrekturzeit 415 versetzt, gefolgt von der anschließenden Radardatenkorrektur Δ₃ 320, die in ähnlicher Weise von der LIDAR-Datenkorrekturzeit 420 versetzt ist, und schließlich wird eine Vorhersage Δ₄ für den nächsten Fusionsausgabezyklus t+1 berechnet. Daher wird eine Delta-Vorhersagekorrektur Δ_[1...4] während des gesamten Zyklus fortgeführt, wobei die Vorausankunftszeitvorhersage für jede Sensorprozessdatenankunftszeit kompensiert wird. Unter Verwendung dieses Vorhersageschemas treten daher keine Verzögerungen in dem Verarbeitungszyklus auf, die aufgetreten wären, wenn die Ankunftszeit abweichen würde, wie in dem Fall, in dem nur zeitgeberbasierte Berechnungen verwendet werden.
• Mit Bezug auf 4B und unter fortgesetzter Bezugnahme auf 4A zeigt 4B ein zeitliches multimodales Zusammenführungsdiagramm des multimodalen Fusionssystems 450 der Ereignisankunft und der nachfolgenden Vorhersageberechnung nach der Fusionsausgabe 465. Anfangs tritt eine Bestimmung 455 einer Ereignisankunftszeit auf. Wenn festgestellt wird, dass dies keine Ereignisankunftszeit „N“ ist, kehrt der Prozessablauf zum Start zurück. Dies tritt auf, wenn eine zeitliche Persistenz der abgetasteten Daten des erkannten Objekts von Interesse vorliegt. Liegt beispielsweise eine infinitesimale Änderung der Sensordaten vor, ist keine zusätzliche Erfassung erforderlich, da sich die interessierenden Objektattribute nicht von den zuvor gespeicherten Sensordaten über das Objekt geändert hätten. Erfolgt als Nächstes eine Fusionsausgabe 465, dann werden die Vorhersagen 460 Δ_[1...4] berechnet, aber es werden keine Bild-, LIDAR- oder Radardatenkorrekturen benötigt, sodass die erfassten Daten ausgegeben werden. Wird alternativ keine Fusionsausgabe 465 bestimmt, werden zusätzliche zusammengeführte Daten benötigt und eine zusätzliche Korrektur durch Vorhersage 485 der Bild-, LIDAR- und Radardaten wird benötigt 380. Diese beiden parallelen Verarbeitungspfade werden vom Rückkopplungspfad 475 für die Ankunft des nächsten Ereignisses zurückgegeben. Durch Verwendung dieses heterogenetischen Modalitätsschemas werden weniger Daten aggregiert und die Gesamtleistung des Fusionssystems wird verbessert.
• Mit Bezug auf 5 veranschaulicht 5 ein Radarverarbeitungssystem-Diagramm des Radarsensorsystems 500 des Radarmoduls 510 des multimodalen Fusionssystems. Im Betrieb erhält das Radarmodul 510 eine konstante Fehlalarmrate CFAR von dem Radarobjektdetektor 520, auf die ein adaptiver Schwellenwert 530 angewendet wird, der das Umgebungs-Clutter und Rauschen reflektiert. Der Radarobjektdetektor 520 vergleicht eine empfangene Signalamplitude mit einem adaptiven Schwellenwert 530, der von Cueing-Prozessen basierend auf vorhergesagten zusammengeführten Daten 570 eingestellt wird, die frühere Schwelleninformationen umfassen, die von dem Fusionssystem an den Radarobjektdetektor 520 verteilt werden.
• Als Nächstes gibt der Radarobjektdetektor 520 erfasste Daten von Radarpunkten, Entfernung und Winkelrate zur weiteren Verarbeitung entlang der Pipeline aus. In der nächsten Stufe 540 werden die erfassten Daten gereinigt und verrauschte Objekte entfernt. Die verrauschten Objekte, speziell die Punkte der verrauschten Objekte, werden mittels vorheriger verrauschter Punktdaten, die aus der zeitlichen Persistenz durch die Datenzuordnung 565 aus dem Vermitteln von empfangenen vorhergesagten zusammengeführten Daten 570 gewonnen wurden, entfernt. In der nächsten Stufe 550 entlang der Radarsensor-Verarbeitungspipeline werden eine Ausrichtung und eine Bias-Korrektur des Sensors durchgeführt, die wiederum durch die Datenzuordnung 565 von den Cueing-Prozessen der empfangenen vorhergesagten zusammengeführten Daten 570 gewonnen wurden. In der letzten Stufe der Radarsensor-Verarbeitungspipeline 560 werden Datenklassifizierer zum Klassifizieren eines Radarpunkts in stationäre oder dynamische Punktsätze durchgeführt. Die gefilterten Datenpunkte werden zusätzlich durch die Datenzuordnung 565 mit Fusionsdatenstrecken verarbeitet und an das Fusionsmodul 575 weitergeleitet, was zu Aktualisierungen der Messung der Fusionsdatenstrecken durch das Fusionsstreckenmessungs- und Aktualisierungsmodul 580 für das interessierende Ziel führt.
• Mit Bezug auf 6 veranschaulicht 6 ein LIDAR-Verarbeitungsdiagramm des LIDAR-Verarbeitungssystems 600 des multimodalen Fusionssystems bei der Ankunft von Punktwolkendaten. Punktwolkendaten x, y, z werden an das LIDAR-Modul 610 zur Verarbeitung für Bestimmungen über ein Ziel von Interesse geliefert. Die abgetasteten LIDAR-Punktdaten werden in zwei Stufen verarbeitet, wobei anfänglich in der ersten Stufe 620 Schätzalgorithmen zur Korrektur der LIDAR-Ausrichtung und des Bias verwendet werden. In der nachfolgenden Stufe werden Algorithmen 630 angewendet, um Schwellenwertschätzungen zum Entfernen von Bodenpunkten aus den Punktwolkendaten durchzuführen. Beide Stufen empfangen in den Fusionsdaten Nicht-Bodenpunktdaten von Strecken. Diese Nicht-Bodenpunkte werden durch die Datenzuordnung 640 der Nicht-Boden-LIDAR-Punkte mit den zusammengeführten Daten, die aus dem Cueing der empfangenen vorhergesagten zusammengeführten Daten 680 gewonnen werden, die an die Datenzuordnungsmodule 640 gesendet werden, erkannt. Von dem LIDAR-Modul 610 werden die Punktwolken x, y, z und der Fusionsstreckenindex zu dem Fusionsmodul 660 zur weiteren Verarbeitung gesendet. Das Cueing der aktuellen Radarpunkte 690 wird verwendet, um die Umwandlung der Punktwolkendaten durch Clustering-Algorithmen 670 in Tracklets unter Verwendung der Radarpunkte für das Cueing zu ermöglichen. Die Fusionsstreckenmessungen werden basierend auf den Clustering-Algorithmen aktualisiert. Zusätzlich werden Datenzuordnungsprozesse 685 verwendet, um das Cueing der aktuellen Radarpunkte zuzuordnen.
• Unter Bezugnahme auf 7 veranschaulicht 7 ein Bildverarbeitungsdiagramm des Bildverarbeitungssystems 700 des multimodalen Fusionssystems, wenn Bilddaten von mit dem Fahrzeug gekoppelten Kameras erfasst werden, um Bilddaten der Fahrzeugumgebung zu erzeugen. Zu Beginn werden Intensitätsbilder durch das Bildmodul 710 zur Verarbeitung mit einem Aufruf von empfangenen vorhergesagten zusammengeführten Daten 705 zur Bodenpixelerfassung 745, Objekterkennung 720, Bildklassifizierung 725 und für Geschwindigkeitsschätzungen 730 des interessierenden Ziels empfangen. Anfangs werden Bewegungsschätzungsberechnungen 750, basierend auf vertikalen Schichten des Bewegungsflusses von Superpixeln der empfangenen Intensitätsbilder, erstellt. In der nächsten Stufe der Bildverarbeitungspipeline werden Bodenpixel 745 mittels Cueing der empfangenen vorhergesagten zusammengeführten Daten 705 detektiert. Eine Bestimmung 735 wird durch Vergleiche der Daten der vorhergesagten zusammengeführten Daten 705 und durch Schwellenwertbestimmungen durchgeführt, um zu bestimmen, ob die Pixel Bodenbilder sind. Wenn die Pixel vom Boden sind, werden Berechnungsschätzungen für die extrinsischen Kameraparameter 740 durchgeführt, und die Kameraprojektionsparameter werden mit den Schätzungen aktualisiert. Zusätzlich wird das Klassifizieren der Bodenpixel für eine zukünftige Verwendung bei der Datenextraktion durchgeführt. Alternativ wird, wenn keine Bodenpixel erfasst werden, eine Widerspruchserkennung 720 des Extraktionsobjektkandidaten durchgeführt und eine Superpixelsegmentierung des erfassten Objekts wird abgebildet. Zusätzlich wird eine Klassifizierung der Pixel in einer nachfolgenden Stufe durchgeführt und schließlich werden Geschwindigkeitsschätzungen 730 des interessierenden Ziels oder des detektierten Objekts durchgeführt. Beide dieser Prozesse der Klassifizierung und Geschwindigkeitsschätzungen verwenden vorhergesagte zusammengeführte Daten, die durch die Datenzuordnung 715 der vorhergesagten zusammengeführten Daten 705 gewonnen wurden. Schließlich werden die Fusionsdaten mit hinzugefügter Objektkennzeichnung und Bewegungsflussschätzungen des Bildes in einer Bildebene 760 zur weiteren Verarbeitung durch das Fusionsmodul aktualisiert.
• Mit Bezug auf 8 veranschaulicht 8 ein Streckenebenen-Sensorverarbeitungsdiagramm des Radarsensorsystems 800 des multimodalen Fusionssystems. In diesem Beispiel sind die Radarsensoren mit einem individuellen Verarbeitungsmodul 810 ausgestattet, das eine lokale Verfolgung durchführt. Die empfangenen Rahmendateninformationen umfassen den Bereich, die Entfernungsrate, den Azimut und die Azimutgeschwindigkeit des Objekts von Interesse. Die Streckenebenenerfassung des Radarsensors verwendet eine Datenzuordnung von Streckendaten des Radarsensors mit dem Fusionsstreckenindex 830 aufgrund von empfangenen geschätzten vorhergesagten Fusionsdatenschätzungen 840, um das Radarsensorsystem 800 zu konfigurieren und um die Sensorausrichtung und den Bias 820 zu berechnen und zu korrigieren. Eine Aktualisierung des Fusionsstreckenzustands, einschließlich der Streckendaten der Entfernung, der Entfernungsrate, des Azimuts, der Azimutgeschwindigkeit, des Fusionsobjektindex usw. wird an das multimodale Fusionsmodul 850 gesendet. Die Fusionsstrecken-Messungsaktualisierungen werden durch das Fusionsstrecken-Messungsaktualisierungsmodul 860 des multimodalen Fusionsmoduls 850 verarbeitet. Zusätzlich ist der Streckenebenensensor konfiguriert, um kinetische Zustände von Objekten zu ermöglichen, die die Position und Geschwindigkeit des Objekts von Interesse sind und nicht binäre Daten auf Sensorebene oder Zwischenmerkmalsdaten. Daher wird eine Objektebenen-Datenverarbeitung durch das Radarsensorsystem 800 für die Fusionsstrecken-Messungsaktualisierungen durchgeführt.
• Unter Bezugnahme auf die 9A, 9B und 9C zeigen die 9A, 9B und 9C Konturmodelldiagramme für LIDAR-Punktcluster des multimodalen Fusionsmoduls. Jedes interessierende Ziel 910 wird als Zustandsvariable eines Ortes p = (x, y) modelliert, der einen Richtungswinkel (φ), eine Bodengeschwindigkeit (v) und eine Gierrate (ω) aufweist. Die Kontur der Zielreferenz des Radarpunkts 1020 zum Zielrahmen wird in einem Gaußschen Mischmodell „GMM“ wie folgt modelliert: $$\text{p}\left(\text{x}\right)=\frac{1}{\text{M}}{\displaystyle \sum _{\text{k}=1}^{\text{M}}\text{g}\left(\text{x};{\text{ m}}_{\text{k}},{\mathrm{\sigma }}_{\text{k}}\right)}$$

  

  $$\text{g}\left(\text{x};{\text{ m}}_{\text{k}},{\mathrm{\sigma }}_{\text{k}}\right)={\text{ce}}^{-\frac{\square \text{x}-{\text{m}}_{\text{k}}\square 2_{{\mathrm{\sigma }}_{\text{k}}}}{2}}$$

  

  und $$\square \text{x}-{\text{m}}_{\text{k}}{\square }_{{\mathrm{\sigma }}_{\text{k}}}$$

  

  ist die Mahalanobis Entfernung
• • Im HV-Rahmen ist das Konturmodell $$\text{p}\left(\text{x}|\text{p},\mathrm{\phi }\right)=\frac{1}{\text{M}}{\displaystyle \sum _{\text{k}=1}^{\text{M}}\text{g}\left(\text{x};\text{ m}{\text{'}}_{\text{k}},\mathrm{\sigma }{\text{'}}_{\text{k}}\right)},\text{m}{\text{'}}_{\text{k}}=\text{p}+{\text{R}}_{\mathrm{\phi }}{\text{m}}_{\text{k}},$$
  
  σ'k=R_φσ_kR_φT, R_φ ist die Rotationsmatrix des Winkels φ
• In einem Vorhersagemodus wird das Fahrzeugziel von Interesse 910 als gewöhnliche Differentialgleichungen (ODE - Ordinary Differential Equations) wie folgt modelliert: $$\text{dx}\left(\text{t}\right)=\text{F}\left(\text{X}\left(\text{t}\right)\right)\text{dt}+\text{GdW}\left(\text{t}\right)$$

  

  wobei $$\text{X}\left(\text{t}\right)=\left(\text{x},\text{y},\mathrm{\phi },\text{v},\mathrm{\omega }\right),$$

  

  $$\text{F}\left(\text{X}\left(\text{t}\right)\right)=\left(\text{vcos}\mathrm{\phi +}\text{y}\mathrm{\omega -}{\text{v}}_{\text{H}},\text{ vsin}\mathrm{\phi -}\text{x}\mathrm{\omega },\mathrm{\omega -}{\mathrm{\omega }}_{\text{H}},\mathrm{\theta },\mathrm{\theta }\right),$$

  

  W(t) ein unabhängiger Brown'scher Prozess mit Null-Mittelwert und Einheitsvarianz ist, und die Diffusionsmatrix G ist diagonal.
• Gegeben X(t₀), kann der vorhergesagte Zustand X(t₁)bei t₁=t₀+dt in der Nähe von X * um angenähert werden $$\text{G}\text{'}\text{X}\left({\text{t}}_1\right)=\text{F}\text{'}\text{X}\left({\text{t}}_0\right)+\text{u}+\text{w}$$

  

  $$G\text{'}=G^{-1}$$

  

  $$F\text{'}=G^{-1}\left({\frac{\partial F}{\partial X}|}_{X*}\delta t+I\right)$$

  

  $$u=G^{-1}\left(F\left(X*\right)\delta t-{\frac{\partial F}{\partial X}|}_{X*}\delta tX*\right)$$

  
• W ist eine 5 × 1 Null-Mittelwert-Einheitsvarianz des Gaußschen Rauschens.
• Mit Bezug auf 10 veranschaulicht 10 ein multimodales Zusammenführungsdiagramm des multimodalen Zusammenführungssystems 1000 des multimodalen Zusammenführungsalgorithmus zum Zuordnen von Radarpunkten zu LIDAR-basierten Punktkonturen. Eine Messung zur Punktwolkenkorrektur für jeden Radarpunkt wird durch das multimodale Fusionsmodul durchgeführt, und eine LIDAR-basierte Kontur wird erzeugt. Für jede Messung m_l findet der Algorithmus für die Punktwolkenkorrektur den nächsten Punkt p_l in der Kontur zu dem in 10 gezeigten Radarpunkt 1020. Daher ist ein Radarpunkt 1020 der LIDAR-basierten Kontur p_l zugeordnet.
• Die lineare Geschwindigkeit des Punktes wird wie folgt bestimmt: $${\text{v}}_{\text{l}}={\text{p}}_{\text{l}}\times \left(\mathrm{\omega }-{\mathrm{\omega }}_{\text{H}}\right)+\left[\begin{array}{c}{\text{v}}_{\text{x}}\\ {\text{v}}_{\text{y}}\end{array}\right]$$

  

  und $${\stackrel{\square }{\text{n}}}_{\text{l}}=\frac{{\text{p}}_{\text{l}}+\text{P}}{\square {\text{p}}_{\text{l}}+\text{P}\square }$$

  
• Die Messgleichung lautet wie folgt: $${\text{r}}_{\text{l}}=\square {\text{p}}_{\text{l}}+\text{P}\square$$

  

  

  nur für Radar $${\alpha }_l=\angle \left(p_l+P\right)$$

  
• Für alle Wolkenpunkte wird ein Aggregationsprozess durch den Algorithmus für die Punktwolkenkorrektur für alle Messungsgleichungen durchgeführt und ist wie folgt: $$\text{o}=\text{HX}+\mathrm{\epsilon },\text{X}=\left({\text{x}}_{\text{c}},{\text{y}}_{\text{c}},\mathrm{\phi },\text{v},\mathrm{\omega }\right)$$

  
• Gegeben ein vorausgehendes

  
• -Konstrukt
  
  und eine Dreiecksmatrix
  
  , dann ist
  
  a posteriori.
• Die aktualisierte Schätzung ist dann wie folgt:

  
• Unter Bezugnahme auf die 11A und 11B zeigen die 11A und 11B Radar-Clusterdiagramme, die als Dreieckssymbole 1100 des LIDAR-Verarbeitungsalgorithmus des Radarmoduls des multimodalen Fusionsmodulsystems dargestellt sind. In 11A und in der alternativen Darstellung der Fusionskonturpunkte in FIG. In 11B werden Darstellungen eines sich bewegenden Hostfahrzeugs HV und der Konturfusionspunkte 1110 gezeigt, die das RV-entfernte Fahrzeug umgeben. Um ein sich bewegendes Fahrzeug algorithmisch mit einem ortsfesten Hindernis wie Leitplanken der Kontur zu unterscheiden, werden Fusionspunkte 1110 berechnet.
• Für jeden Konturzusammenführungspunkt s_j 1110 ist ein Berechnungsvergleichskoeffizient für einen Radarpunkt m_k als a_jk , ${\displaystyle \sum _{\text{k}}{\text{a}}_{\text{jk}}}=1$

  

  vorhanden
• Für zwei beliebige der Konturfusionspunkte 1110 s_i und s_j ist die erweiterte Distanz 1120 d̅ wie folgt definiert:

  

  wobei d (s_i , s_j ) die euklidische Distanz oder eine andere Distanzmetrik zwischen den zwei LIDAR-Punkten ist, und C(m_l , m_k ) ist die Distanzmetrik zwischen den zwei Radarpunkten, d. h., C(m_l , m_k ), dies ist eine große positive Zahl, wenn m_l , m_k zu zwei getrennten Zielen mit signifikant unterschiedlichen Doppler-Messungen gehören.
• Dann werden unter Verwendung einer erweiterten Entfernungsmetrik in der Berechnung und der Durchführung von Clusterberechnungen, die in einigen Fällen Graph-Färbungsalgorithmuslösungen sind, dann sind in solchen Graph-Färbungsalgorithmuslösungen zwei Konturpunkte, die eine Abstandsmetrik aufweisen, die kleiner als ein Schwellenwert sind, demselben Cluster zugewiesen; andernfalls werden die Konturfusionspunkte 1110 zwei verschiedenen Clustern C1, C2 zugewiesen.
• Unter Bezugnahme auf die 12A, 12B und 12C veranschaulichen die 12A, 12B und 12C Diagramme von Radar-Rohstreckenpunkt-Zuordnungen des Radarmoduls mit Zielkonturfusion des multimodalen Fusionsmodulsystems. Eine Top-Down-Verarbeitung wird von dem Radarsensormodul für die erfassten Daten von der Streckenzuordnung mit der Zielkonturfusionsabbildung durchgeführt. In 12A wird für jeden Radarpunkt 1200 m_k die Minimalentfernung senkrecht zur Entfernung D(m_k ) 1210 zu den Schwerpunkten jeder LIDAR-basierten Kontur kommutiert und dies wird mit D(m_k ) 1210 bezeichnet, wenn D(m_k)< T von m_k eine resultierende Kommutierung der LIDAR-basierten Kontur innerhalb eines minimalen Abstands zugeordnet ist. Falls nicht zugewiesen, wird m_k als ein Kandidat zur Aktualisierung der Fusionsdatenverfolgung behandelt. In 12B wird eine LIDAR-basierte Kontur erzeugt, die das entfernte Fahrzeug in Bezug auf das Host-Fahrzeug umgibt, wobei wiederum m_k die Minimalentfernung senkrecht zur Entfernung D(m_k) 1210 zu den Schwerpunkten jeder LIDAR-basierten Kontur gehört. In 12C werden Radarpunktdaten 1220 empfangen, und eine Verarbeitung der Radarpunkte und der Fusiondatenzuordnung wird mit den empfangenen Top-Down-Fusionsstreckeninformationen 1240 durchgeführt 1230. Diese resultierende Verarbeitung ermöglicht die Erzeugung verbesserter Radar-Rohmessinformationen, um beispielsweise die Schwellenwertanpassungen des LIDAR-Moduls zu kalibrieren.
• Mit Bezug auf 13 veranschaulicht 13 eine grafische Ansicht der Bildstreckenzuordnungen der Streckenebene des Bildsensormoduls des multimodalen Fusionsmodulsystems. Eine Top-Down-Verarbeitung des Bildziels von Interesse 1300, das als ein Bildziel V bezeichnet ist, wird in 13 gezeigt. Das Bildziel V illustriert vertikale und longitudinale Verschiebungen, die algorithmische Berechnungen sind. Das Bildziel V erhält die folgenden Attribute: x für die Längsverschiebung, y für die seitliche Verschiebung, vx und vy, W für die Breite und L für die Länge. Für jedes Objekt von Interesse 1300 Vwerden anfänglich die vier Ecken kommutiert, die vier Ecken sind Ci, i = 1,...,4, die wie folgt kommutiert werden: x-W/2, y-L/2, x-W/2, y+L/2, x+W/2, y-L/2 und x+W/2, y+L/2. Ein Abstand wird zu dem Objekt von Interesse 1300 V zu jeder Kontur E kommutiert, die als der kürzeste Abstand von jeder der vier Ecken zu der Kontur definiert sein kann. Der Abstand wird wie folgt kommutiert: $$\text{d}\left(\text{V},\text{ E}\right)={\text{min}}_{\text{i}}\square \left\{\text{d}\left({\text{c}}_{\text{i}},\text{ E}\right)\right\}$$

  

  wobei d (C_i, E) der kürzeste Euklidische Abstand vom Punkt C_i zu den Liniensegmenten in E ist. Dann wird eine Vergrößerung der Abstandsmetrik zwischen dem Bildziel, einer Geschwindigkeit und der Fusionszielgeschwindigkeit wie folgt berechnet: $$\text{d}\left(\text{V},\text{ E}\right)=\mathrm{\alpha }{\text{ min}}_{\text{i}}\square \left\{\text{d}\left({\text{c}}_{\text{i}},\text{ E}\right)\right\}+\mathrm{\beta }\square {\text{v}}_{\text{F}}-{\text{v}}_{\text{V}}\square$$

  

  , wobei α und β gewichtete Faktoren sind v_F und v_V Fusions- und Bildgeschwindigkeiten sind.
• Anschließend wird das Bildziel V der Kontur mit dem kürzesten Abstand d(V, E) zugeordnet, wenn der kürzeste Abstand kleiner als ein vordefinierter Schwellenwert ist.
• Während mindestens ein exemplarischer Aspekt in der vorstehenden ausführlichen Beschreibung der Offenbarung dargestellt wurde, sollte darauf hingewiesen werden, dass eine große Anzahl an Variationen existiert. Es versteht sich weiterhin, dass der exemplarische Aspekt bzw. die exemplarischen Aspekte lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in keiner Weise einschränken sollen. Vorstehende ausführliche Beschreibung bietet Fachleuten vielmehr eine zweckmäßige Roadmap zur praktischen Anwendung eines in der Offenbarung angegebenen exemplarischen Aspektes. Es versteht sich, dass verschiedene Änderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, die in einem exemplarischen Aspekt beschrieben sind, ohne von dem Umfang der Offenbarung abzuweichen, wie in den beigefügten Ansprüchen dargelegt.

Claims (10)

1. Hybride multimodale Fusionsvorrichtung, umfassend: ein multimodales Fusionsmodul, das so konfiguriert ist, dass es in einem ersten Modus arbeitet, um zusammengeführte Daten mit mehreren unterschiedlichen Formaten zu empfangen, die von einem Satz heterogener Vorrichtungen erfasst werden und so konfiguriert sind, dass diese in einem zweiten Modus die zusammengeführten Daten an jede der heterogenen Vorrichtungen sendet; ein Zuordnungsmodul, das so konfiguriert ist, dass dieses Daten mit mehreren verschiedenen Formaten, die von jeder der heterogenen Vorrichtungen erfasst werden, zusammengeführt und die zusammengeführten Daten an das multimodale Fusionsmodul sendet; und eine Fusionsstreckendatei, die zum Speichern zuvor zusammengeführter Daten konfiguriert ist, um zu ermöglichen, dass das multimodale Fusionsmodul, basierend auf den gespeicherten, zuvor zusammengeführten Daten, Cueing-Informationen an die heterogenen Vorrichtungen sendet.
2. Multimodale Fusionsvorrichtung nach Anspruch 1, worin der Satz von heterogenen Vorrichtungen mindestens eine Bild-, Radar- oder LIDAR-Sensorvorrichtung umfasst.
3. Multimodale Fusionsvorrichtung nach Anspruch 1, worin das Zuordnungsmodul dazu konfiguriert ist, eine Ausrichtungsdatenkorrektur der erfassten Daten von den heterogenen Vorrichtungen durchzuführen.
4. Multimodale Fusionsvorrichtung nach Anspruch 1, worin das Zuordnungsmodul dazu konfiguriert ist, eine Bias-Datenkorrektur der erfassten Daten von den heterogenen Vorrichtungen durchzuführen.
5. Multimodale Fusionsvorrichtung nach Anspruch 1, das multimodale Fusionsmodul ferner Folgendes umfassend: ein Mehrebenen-Fusionsmodul, umfassend ein Sensormodul zum Konvertieren der von den heterogenen Vorrichtungen erfassten Daten in Sensordaten zum Senden an das multimodale Fusionsmodul zur Datenfusion.
6. Multimodale Fusionsvorrichtung nach Anspruch 5, das Fusionsmodul mit mehreren Ebenen ferner Folgendes umfassend: ein Merkmalsmodul, das mit dem Sensormodul gekoppelt ist und zum Umwandeln von Sensordaten in Merkmalsebenendaten konfiguriert ist, um diese zur Datenfusion an das multimodale Fusionsmodul zu senden.
7. Multimodale Fusionsvorrichtung nach Anspruch 6, das Fusionsmodul mit mehreren Ebenen ferner Folgendes umfassend: ein Objektmodul, das mit dem Merkmalsmodul gekoppelt ist und das zum Umwandeln von Merkmalsdaten in Objektdaten konfiguriert ist, um diese zur Datenfusion an das multimodale Fusionsmodul zu senden.
8. Multimodale Fusionsvorrichtung nach Anspruch 7, das multimodale Fusionsmodul ferner umfassend: ein Objektmodul, das dazu konfiguriert ist, andere Objektdaten zu verarbeiten, die bereits von externen Vorrichtungen verarbeitet wurden, um die Erfassungsgenauigkeiten der heterogenen Vorrichtungen zu verbessern.
9. Multimodale Fusionsvorrichtung nach Anspruch 1, worin das multimodale Fusionsmodul konfiguriert ist, um Verzögerungen in einem Verarbeitungszyklus zu reduzieren, indem Vorhersagedaten von Verzögerungen der Ankunft von Sensordaten verwendet werden.
10. Hybrides multimodales Fusionssystem, umfassend: mindestens ein Modul zur multimodalen Datenfusion; und mindestens eine computerlesbare Speichervorrichtung, die Befehle umfasst, die, wenn diese ausgeführt werden, die Durchführung eines Verfahrens zum Zusammenführen von Daten durch das multimodale Datenfusionsmodul für Daten bewirken, die von einem Satz heterogener Vorrichtungen empfangen werden, wobei das Verfahren Folgendes umfasst: das Betreiben, in einem Modus, des multimodalen Fusionsmoduls, das konfiguriert ist, um Daten in mehreren unterschiedlichen Formaten zu empfangen, die von heterogenen Vorrichtungen erfasst werden; das Betreiben, in einem zweiten Modus, des multimodalen Fusionsmoduls, das dazu konfiguriert ist, zusammengeführte Daten an jede der heterogenen Vorrichtungen zu senden; das Zusammenführen der empfangenen Daten mit mehreren verschiedenen Formaten von jeder der heterogenen Vorrichtungen durch das multimodale Fusionsmodul wie angewiesen, und Senden der zusammengeführten Daten an jede der heterogenen Vorrichtungen; und das Speichern der zuvor zusammengeführten Daten, die von den heterogenen Vorrichtungen zusammengeführt wurden, in einer mit dem multimodalen Fusionsmodul gekoppelten Verfolgungsdatei, um basierend auf gespeicherten zuvor zusammengeführten Daten Vorhersagedaten zu erzeugen, die an die heterogenen Vorrichtungen gesendet werden.

Images