DE112020007428T5

DE112020007428T5 - Verfahren und einrichtung zum abstimmen von sensorfusionsgewichtungen

Info

Publication number: DE112020007428T5
Application number: DE112020007428.5T
Authority: DE
Inventors: Marc Patrick Zapf; Jinyao Liang; Boqi Ren
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2023-06-29
Also published as: WO2022115993A1; CN116648600A

Abstract

Die vorliegende Offenbarung stellt ein Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station bereit. Das Verfahren umfasst: Bestimmen einer oder mehrerer Bedingungen, die sich auf die Betriebsleistungsfähigkeit mehrerer Sensoren der Station beziehen; Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der einen oder den mehreren Bedingungen; Erhalten von Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden; Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen; und Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen.

Description

GEBIET
Aspekte der vorliegenden Offenbarung beziehen sich allgemein auf eine Sensorfusion und insbesondere auf ein Abstimmen von Fusionsgewichtungen zum Fusionieren von Informationen von mehreren Sensoren einer Station.
HINTERGRUND
Intelligente Transportsysteme, wie Verkehrsüberwachungseinrichtungen, autonome Fahrzeuge und so weiter stützen sich auf eine Vielfalt von Sensoren, um die Umgebung wahrzunehmen. Zum Beispiel können verschiedene Operationen, wie das Detektieren und Verfolgen von Fahrzeugen, Fußgängern oder anderen Objekten der Umgebung, die Geschwindigkeitsdetektion, die Positionsdetektion und so weiter basierend auf Daten durchgeführt werden, die von der Vielfalt von Sensoren erfasst werden.
Bei Heranziehung von Fahrzeugen als Beispiel kann ein Fahrzeug mit unterschiedlichen Arten von Sensoren, wie Kameras, LiDAR (Light Detection and Ranging - Lichtdetektion und -entfernungsmessung), Radar, Ultraschallsensoren und so weiter, ausgestattet sein. Die verschiedenen Arten von Sensoren können ihre jeweiligen Vorteile und Schwächen aufweisen. Zum Beispiel können Kameras Farb- und Texturinformationen aus der Welt wahrnehmen und sind beim Klassifizieren von Objekten gut, ihr Detektionsbereich ist jedoch begrenzt und ihre Leistung unter eingeschränkten Beleuchtungs- oder widrigen Wetterbedingungen ist niedrig. LiDARs stellen präzise Entfernungsinformationen bereit, weisen einen großen Detektionsbereich auf und sind in der Lage, kleine Objekte zu detektieren, sie funktionieren gut bei Nacht, stellen aber keine Farbinformationen bereit, und ihre Leistungsfähigkeit nimmt bei starkem Regen ab. Radare stellen präzise Entfernungs- und Geschwindigkeitsinformationen bereit und funktionieren gut unter schlechten Wetterbedingungen, weisen jedoch eine eher niedrige Auflösung auf. Um die Leistungsfähigkeit der sensorbasierten Messungen zu verbessern, können die Daten von verschiedenen Sensoren fusioniert werden, was als Sensorfusion bekannt ist.
Eine Verbesserung ist erforderlich, um die Zuverlässigkeit und Robustheit der Sensorfusionstechnik zu steigern.
KURZDARSTELLUNG
Gemäß einer Ausführungsform wird ein Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station bereitgestellt. Das Verfahren umfasst: Bestimmen einer oder mehrerer Bedingungen, die sich auf die Betriebsleistungsfähigkeit mehrerer Sensoren der Station beziehen; Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der einen oder den mehreren Bedingungen; Erhalten von Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden; Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen und Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen.
Gemäß einer Ausführungsform wird ein Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station bereitgestellt. Das Verfahren umfasst: Bestimmen von Rauschvarianzmetriken für mehrere Sensoren der Station; Bestimmen von mindestens einem von einer Wetterbedingung und einer Beleuchtungsbedingung für die Station; Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken und dem mindestens einen von der Wetterbedingung und der Beleuchtungsbedingung und Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den Fusionsgewichtungen.
Gemäß einer Ausführungsform wird ein Computersystem bereitgestellt, das einen oder mehrere Prozessoren und eine oder mehrere Speichervorrichtungen umfasst, die computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Operationen des Verfahrens wie vorstehend erwähnt durchzuführen sowie die Operationen des bereitgestellten Verfahrens gemäß Aspekten der Offenbarung durchzuführen.
Gemäß einer Ausführungsform werden ein oder mehrere computerlesbare Speichermedien bereitgestellt, die computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, einen oder mehrere Prozessoren veranlassen, die Operationen des Verfahrens wie vorstehend erwähnt durchzuführen sowie die Operationen des bereitgestellten Verfahrens gemäß Aspekten der Offenbarung durchzuführen.
Gemäß einer Ausführungsform wird eine Einrichtung zum Anpassen von Sensorfusionsgewichtungen bereitgestellt, wobei die Einrichtung eine Vielzahl von Sensoren zum Erhalten von Sensordaten und ein Verarbeitungssystem zum Ausführen von Anweisungen, die das Verarbeitungssystem veranlassen, die Operationen des Verfahrens wie vorstehend erwähnt durchzuführen sowie die Operationen des bereitgestellten Verfahrens gemäß Aspekten der Offenbarung durchzuführen, umfasst.
Durch Verwenden des Verfahrens zum Abstimmen von Sensorfusionsgewichtungen der Offenbarung können die Zuverlässigkeit und Robustheit von Operationen, die eine Sensorfusion verwenden, verbessert werden. Weitere Vorteile der Offenbarung würden in der folgenden Beschreibung erläutert werden.
Figurenliste
Die offenbarten Aspekte werden nachstehend in Verbindung mit den beigefügten Zeichnungen beschrieben, die bereitgestellt sind, um die offenbarten Aspekte zu veranschaulichen und nicht einzuschränken.

1 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
2 ist ein Blockdiagramm, das beispielhafte Sensorfusionsverfahren gemäß Aspekten der Offenbarung veranschaulicht.
3 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
4 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
5 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
6 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
7 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
8 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung veranschaulicht.
9 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung veranschaulicht.
10 ist ein Blockdiagramm, das ein beispielhaftes Rechensystem 1000 gemäß Aspekten der Offenbarung veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die vorliegende Offenbarung wird nun unter Bezugnahme auf mehrere beispielhafte Implementierungen erörtert. Es versteht sich, dass diese Implementierungen nur erörtert werden, um es Fachleuten zu ermöglichen, die Ausführungsformen der vorliegenden Offenbarung besser zu verstehen und somit zu implementieren, anstatt irgendwelche Einschränkungen des Schutzumfangs der vorliegenden Offenbarung anzudeuten.
1 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
Die in 1 veranschaulichte Einrichtung 1 kann ein Fahrzeug, wie ein autonomes Fahrzeug, eine stationäre Überwachungsvorrichtung, wie eine Überwachungsvorrichtung, die entlang einer Straße montiert ist, oder dergleichen sein oder kann ein Teil des Fahrzeugs, der Überwachungsvorrichtung oder dergleichen sein.
Die Einrichtung 1 kann mit verschiedenen Sensoren 10 ausgestattet sein. In dem veranschaulichten Beispiel von 1 können die verschiedenen Sensoren 10 ein Kamerasystem 110, ein LiDAR-System 120 und ein Radarsystem 130 einschließen. Es versteht sich, dass der Satz der Sensoren 10 der Einrichtung 1 zusätzlich zu den veranschaulichten beispielhaften Sensoren 110 - 130 andere Arten von Sensoren einschließen kann, zum Beispiel können verschiedene andere Sensorressourcen, wie Sonar, Ultraschallsensoren, Näherungssensoren, Infrarotsensoren, Raddrehzahlsensoren, Regensensoren und so weiter, im Satz der Sensoren 10 eingeschlossen sein. Andererseits kann der Satz der Sensoren 10 der Einrichtung 1 möglicherweise nicht alle drei Arten der Sensoren 110 - 130 einschließen, wobei beliebige Kombinationen von mindestens zwei der Sensoren 110 - 130 an der Einrichtung 1 angebracht sein können.
Die Einrichtung 1 kann ein Verarbeitungssystem 20 einschließen. Das Verarbeitungssystem 20 kann auf verschiedene Weise implementiert werden, zum Beispiel kann das Verarbeitungssystem 20 eine(n) oder mehrere Prozessoren und/oder Steuerungen einschließen, die Software ausführen können, um verschiedene Operationen oder Funktionen, wie Operationen oder Funktionen gemäß verschiedenen Aspekten der Offenbarung, durchzuführen.
Das Verarbeitungssystem 20 kann Sensordaten von den Sensoren 10, wie den Sensoren 110 - 130, empfangen und verschiedene Operationen durch Analysieren der Sensordaten durchführen. In dem Beispiel von 1 kann das Verarbeitungssystem 20 ein Bedingungsdetektionsmodul 210, ein Fusionsgewichtungsabstimmungsmodul 220 und ein Sensorfusionsmodul 230 einschließen. Es versteht sich, dass die Module 210 - 230 auf verschiedene Weise implementiert werden können, zum Beispiel als Softwaremodule oder Funktionen implementiert werden können, die durch Prozessoren und/oder Steuerungen ausführbar sind.
Das Bedingungsdetektionsmodul 210 kann dazu ausgelegt sein, eine oder mehrere Bedingungen in Bezug auf die Betriebsleistungsfähigkeit mindestens eines Teils der mehreren Sensoren 10 der Einrichtung 1 zu bestimmen.
Die Bedingung, die sich auf die Betriebsleistungsfähigkeit eines Sensors bezieht, kann eine Rauschvarianzmetrik des Sensors sein. Die Rauschvarianzmetrik kann beschreiben, wie zuverlässig die Informationen vom Sensor zu einem Zeitpunkt sind. Zum Beispiel kann Bildrauschen als ein Parameter verwendet werden, um die Rauschvarianzmetrik für die Kamerasensoren 110 zu bestimmen. In ähnlicher Weise kann das Signalrauschen als ein Parameter verwendet werden, um die Rauschvarianzmetrik für die LiDAR-Sensoren 120 oder die Radarsensoren 130 zu bestimmen. Als ein weiteres Beispiel kann bei einer beispielhaften Operation einer Objektdetektion die Objektdetektionskonfidenz als ein Parameter verwendet werden, um die Rauschvarianzmetrik für einen Sensor 10 zu bestimmen. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Rauschvarianzmetrik für einen Sensor 10 auf die Ausführungsformen der Offenbarung anwendbar ist und die Offenbarung nicht auf ein spezifisches Verfahren zum Bestimmen der Rauschvarianzmetrik eines Sensors beschränkt ist.
Die Bedingung, die sich auf die Betriebsleistungsfähigkeit eines Sensors bezieht, kann eine Wetterbedingung sein, bei der die Sensoren 10 der Einrichtung funktionieren. Das Bedingungsdetektionsmodul 110 kann die Wetterbedingung basierend auf den Sensordaten von einigen Sensoren 10 bestimmen. Zum Beispiel kann eine aktuelle Wetterbedingung basierend auf den Bilddaten bestimmt werden, die durch das Kamerasystem 110 erfasst werden. In einer Implementierung kann ein Bildklassifizierungsmodell verwendet werden, um die aktuelle Wetterbedingung zu bestimmen, indem die erfassten Bilder als eine von mehreren Wetterbedingungen klassifiziert werden, die zum Beispiel sonnig, neblig, dunstig, regnerisch, verschneit und so weiter einschließen können. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Wetterbedingung auf die Ausführungsformen der Offenbarung anwendbar ist und die Offenbarung nicht auf ein spezifisches Verfahren zum Bestimmen der Wetterbedingung beschränkt ist.
Die Bedingung, die sich auf die Betriebsleistungsfähigkeit eines Sensors bezieht, kann eine Beleuchtungsbedingung sein, bei der die Sensoren 10 der Einrichtung funktionieren. Das Bedingungsdetektionsmodul 110 kann die Beleuchtungsbedingung basierend auf den Sensordaten von einigen Sensoren 10 bestimmen. Zum Beispiel kann eine aktuelle Beleuchtungsbedingung basierend auf den Bilddaten bestimmt werden, die durch das Kamerasystem 110 erfasst werden. In einer Implementierung kann ein Bildklassifizierungsmodell verwendet werden, um die aktuelle Beleuchtungsbedingung zu bestimmen, indem die erfassten Bilder als eine von mehreren Beleuchtungsbedingungen klassifiziert werden, die zum Beispiel grelles Sonnenlicht, normale Beleuchtung, geringe Beleuchtung, Nacht und so weiter einschließen können. In einer anderen Implementierung kann die Beleuchtungsbedingung basierend auf der Intensität des erfassten Bilds bestimmt werden. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Beleuchtungsbedingung auf die Ausführungsformen der Offenbarung anwendbar ist und die Offenbarung nicht auf ein spezifisches Verfahren zum Bestimmen der Beleuchtungsbedingung beschränkt ist.
Das Fusionsgewichtungsabstimmungsmodul 220 kann dazu ausgelegt sein, die Fusionsgewichtungen für jeweilige Sensoren basierend auf der durch das Bedingungsdetektionsmodul 210 detektierten Bedingung zu bestimmen.
Zum Beispiel kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110, 120 bzw. 130 basierend auf den Rauschvarianzmetriken der Sensoren 110, 120 und 130 bestimmen, und dann kann das Sensorfusionsmodul 230 eine Fusion der von den Sensoren 110, 120 und 130 erhaltenen Informationen basierend auf ihren Fusionsgewichtungen durchführen. Im Allgemeinen ist die Fusionsgewichtung des Sensors umso geringer, je höher die Rauschvarianzmetrik oder Rauschmetrik eines Sensors ist. Es versteht sich, dass die Sensorfusion zwischen zwei oder mehreren der Sensoren 110, 120, 130 sowie anderen anwendbaren Sensoren 10 stattfinden kann.
In einem anderen Beispiel kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110, 120 bzw. 130 basierend auf der Wetterbedingung bestimmen, die durch das Bedingungsdetektionsmodul 210 detektiert wird, und dann kann das Sensorfusionsmodul 230 eine Fusion der von den Sensoren 110, 120 und 130 erhaltenen Informationen basierend auf ihren Fusionsgewichtungen durchführen. Im Allgemeinen kann die Fusionsgewichtung für die Kameras 110 relativ zur Schwere der Wetterbedingung reduziert werden, da die Kamera bei schlechten Wetterbedingungen weniger gut funktioniert, sodass Fusionsgewichtungen für die Kameras 110 bei schlechten Wetterbedingungen verringert werden können und bei guten Wetterbedingungen erhöht werden können. Für andere Sensoren kann eine Fusionsgewichtungsanpassung basierend auf intrinsischen Sensoreigenschaften definiert werden. Zum Beispiel funktionieren die Radarsensoren 130 in der Regel gut bei schlechten Wetterbedingungen, sodass Fusionsgewichtungen für die Radarsensoren 130 bei schlechtem Wetter erhöht werden können und bei gutem Wetter verringert werden können. Die Leistungsfähigkeit der LiDAR-Sensoren 120 nimmt bei starkem Regen ab, sodass Fusionsgewichtungen für die Radarsensoren 130 bei Regen verringert werden können. Tabelle 1

Kameragewichtung LiDAR-Gewichtung Radargewichtung

Wetterbedingung 1 Wc 1 Wl 1 Wr 1

Wetterbedingung 2 Wc 2 Wl 2 Wr 2

Wetterbedingung 3 Wc 3 Wl 3 Wr 3

Wetterbedingung 4 Wc 4 Wl 4 Wr 4
Ein Beispiel für die Fusionsgewichtungseinstellung für mehrere Sensoren einer Einrichtung ist in obiger Tabelle 1 veranschaulicht. Die beispielhaften Wetterbedingungen 1 - 4 können zum Beispiel sonnig, neblig, regnerisch, verschneit sein. Die Fusionsgewichtungen für jeden der Sensoren 110 - 130 bei jeder der Wetterbedingungen 1 - 4 können in Tabelle 1 definiert sein. Wenn zum Beispiel die Wetterbedingung 3 „regnerisch“ detektiert wird, kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Kamera 110, das LiDAR 120 und das Radar 130 als Wc 3, Wl 3 bzw. Wr 3 einstellen. Die in Tabelle 1 beispielhaft aufgeführten Fusionsgewichtungen können heuristisch definiert werden, können zum Beispiel gemäß Experimenten oder Erfahrung definiert werden und können entsprechend aktualisiert werden. Es versteht sich, dass die Fusionsgewichtungen als Nullwert oder Nichtnullwert eingestellt werden können und die Offenbarung nicht auf spezifische Fusionsgewichtungswerte beschränkt ist. Es versteht sich, dass die Fusionsgewichtungen jeweiliger Sensoren bei jeweiligen Wetterbedingungen in einer beliebigen anwendbaren Weise bestimmt werden können. Zum Beispiel kann ein Bildklassifizierungsmodell verwendet werden, um eine Fusionsgewichtung für einen bestimmten Sensor unter Berücksichtigung der Wetterbedingung zu entscheiden, indem Bilder von der Kamera 110 klassifiziert werden.

In einem anderen Beispiel kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110, 120 bzw. 130 basierend auf der Beleuchtungsbedingung oder dem Beleuchtungsniveau bestimmen, die/das durch das Bedingungsdetektionsmodul 210 detektiert wird, und dann kann das Sensorfusionsmodul 230 eine Fusion der von den Sensoren 110, 120 und 130 erhaltenen Informationen basierend auf ihren Fusionsgewichtungen durchführen. Im Allgemeinen kann die Fusionsgewichtung für die Kameras 110 relativ zur Schwere der Beleuchtungsbedingung reduziert werden, da die Kamera bei schlechten Beleuchtungsbedingungen weniger gut funktioniert, sodass Fusionsgewichtungen für die Kameras 110 bei schlechten Beleuchtungsbedingungen verringert werden können und bei guten Beleuchtungsbedingungen erhöht werden können. Zum Beispiel funktionieren sowohl die LiDAR-Sensoren 120 als auch die Radarsensoren 130 gut bei schlechten Beleuchtungsbedingungen, sodass Fusionsgewichtungen für die LiDAR-Sensoren 120 und die Radarsensoren 130 bei schlechten Beleuchtungsbedingungen erhöht werden können und bei guten Beleuchtungsbedingungen verringert werden können. Tabelle 2

	Kameragewichtung	LiDAR-Gewichtung	Radargewichtung
Beleuchtungsbedingung 1	Wc 1	Wl 1	Wr 1
Beleuchtungsbedingung 2	Wc 2	Wl 2	Wr 2
Beleuchtungsbedingung 3	Wc 3	Wl 3	Wr 3
Beleuchtungsbedingung 4	Wc 4	Wl 4	Wr 4

Ein Beispiel für die Fusionsgewichtungseinstellung für mehrere Sensoren ist in obiger Tabelle 2 veranschaulicht. Die beispielhaften Beleuchtungsbedingungen 1 - 4 können zum Beispiel grelles Sonnenlicht, normale Beleuchtung, geringe Beleuchtung, Nacht sein. Die Fusionsgewichtungen für jeden der Sensoren 110 - 130 bei jeder der Beleuchtungsbedingungen 1 - 4 können in Tabelle 2 definiert sein. Wenn zum Beispiel die Beleuchtungsbedingung 4 „Nacht“ detektiert wird, kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Kamera 110, das LiDAR 120 und das Radar 130 als Wc 4, Wl 4 bzw. Wr 4 einstellen. Die in Tabelle 2 beispielhaft aufgeführten Fusionsgewichtungen können heuristisch definiert werden, können zum Beispiel gemäß Experimenten oder Erfahrung definiert werden und können entsprechend aktualisiert werden. Es versteht sich, dass die Fusionsgewichtungen als Nullwert oder Nichtnullwert eingestellt werden können und die Offenbarung nicht auf spezifische Fusionsgewichtungswerte beschränkt ist. Es versteht sich, dass die Fusionsgewichtungen jeweiliger Sensoren bei jeweiligen Beleuchtungsbedingungen in einer beliebigen anwendbaren Weise bestimmt werden können. Zum Beispiel kann ein Bildklassifizierungsmodell verwendet werden, um eine Fusionsgewichtung für einen bestimmten Sensor unter Berücksichtigung der Beleuchtungsbedingung zu entscheiden, indem Bilder von der Kamera 110 klassifiziert werden.
2 ist ein Blockdiagramm, das Sensorfusionsverfahren schematisch gemäß Aspekten der Offenbarung veranschaulicht.
Die Sensorfusion kann im Allgemeinen in drei Hauptkategorien unterteilt werden: Sensorfusion niedriger Ebene (low-level sensor fusion, LLF), Fusion mittlerer Ebene (midlevel fusion, MLF) und Sensorfusion hoher Ebene (high-level sensor fusion, HLF). Die Diagramme A und B in 2 zeigen HLF- bzw. LLF-Architekturen.
Angesichts einer beispielhaften Operation einer Objektdetektion, wie im linken Diagramm A veranschaulicht, können bei HLF Widerspruchsdetektionsoperationen, wie in Blöcken 240A bis 240C gezeigt, an Sensordaten durchgeführt werden, die von jeweiligen Sensoren erfasst werden, wobei Beispiele für diese die Kameras 110, das LiDAR 120 und das Radar 130 sein können, die in 1 gezeigt sind. Jedes der Widerspruchsdetektionsmodule 240A bis 240C kann eine Liste von Objekten basierend auf den Sensordaten vom entsprechenden Sensor erzeugen. Die Listen von Objekten, die durch die Module 240A bis 240C erzeugt werden, können dem Sensorfusionsmodul 230 bereitgestellt werden, das ebenfalls in 1 gezeigt ist. Das Sensorfusionsmodul 230 kann die Objektlisten fusionieren, wobei den jeweiligen Objektlisten, die von verschiedenen Sensoren, wie den Sensoren 110 - 130, erhalten werden, bei der Fusion unterschiedliche Gewichtungen gegeben werden können.
Wie im rechten Diagramm B veranschaulicht, werden bei LLF Rohdaten von den Sensoren, wie den Sensoren 110 - 130, in dem Fusionsmodul 230 fusioniert, wobei den Rohdaten, die von verschiedenen Sensoren, wie den Sensoren 110 - 130, erhalten werden, bei der Fusion unterschiedliche Gewichtungen gegeben werden können. Dann führt das Detektionsmodul 240 eine Widerspruchsdetektion basierend auf den fusionierten Daten durch.
MLF ist eine Abstraktion über LLF hinaus. Bei MLF werden Merkmale aus Rohdaten mehrerer Sensoren, wie der Sensoren 110 - 130, extrahiert, und die extrahierten Merkmale werden durch das Fusionsmodul 230 fusioniert, wobei den Zwischendaten, wie den extrahierten Merkmalen, die von verschiedenen Sensoren, wie den Sensoren 110 - 130, erhalten werden, bei der Fusion unterschiedliche Gewichtungen gegeben werden können. Dann führt das Detektionsmodul 240 eine Widerspruchsdetektion basierend auf den fusionierten Daten durch.
Es versteht sich, dass verschiedene Sensorfusionsverfahren, wie die veranschaulichten HLF-, MLF-, MLF-Verfahren und so weiter auf die Ausführungsform der Offenbarung anwendbar sind und die Offenbarung nicht auf irgendeinen spezifischen Sensorfusionsalgorithmus oder irgendein spezifisches Sensorfusionsverfahren beschränkt ist.
3 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
Gleiche oder ähnliche Bezeichnungen, wie in 1 und 2 bezeichnet, werden in 3 verwendet, und Einzelheiten für die ähnlichen Module oder Blöcke würden in der Beschreibung von 3 nicht wiederholt werden.
In dem Beispiel von 3 kann das Bedingungsdetektionsmodul 210 ein Wetterbedingungsdetektionsmodul 2110, ein Beleuchtungsbedingungsdetektionsmodul 2120, ein Kamerarauschdetektionsmodul 2130, ein LiDAR-Rauschdetektionsmodul 2140, ein Radarrauschdetektionsmodul 2150 einschließen.
Das Wetterbedingungsdetektionsmodul 2110 kann basierend auf den durch das Kamerasystem 110 erfassten Bildern eine aktuelle Wetterbedingung bestimmen. In einer Ausführungsform kann das Wetterbedingungsdetektionsmodul 2110 eine vordefinierte Anzahl von Bild-Frames verarbeiten, die in einem vordefinierten Zeitraum erfasst werden, um das aktuelle Wetter basierend auf der Anzahl von Bild-Frames zu bestimmen. Das Vordefinieren des Zeitraums ist hilfreich, um eine schnelle Verschiebung von Fusionsgewichtungen aufgrund von kurzzeitigen extremen Wettermessungen zu vermeiden. In einer Implementierung kann das Wetterbedingungsdetektionsmodul 2110 als ein Bildklassifizierungsmodell implementiert sein, das die erfassten Bilder als eine von mehreren Wetterbedingungen, wie sonnig, neblig, dunstig, regnerisch, verschneit und so weiter, klassifiziert. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Wetterbedingung für die Implementierung des Wetterbedingungsdetektionsmoduls 2110 anwendbar ist.
Das Beleuchtungsbedingungsdetektionsmodul 2120 kann basierend auf den durch das Kamerasystem 110 erfassten Bildern eine aktuelle Beleuchtungsbedingung bestimmen. In einer Ausführungsform kann das Beleuchtungsbedingungsdetektionsmodul 2120 eine vordefinierte Anzahl von Bild-Frames verarbeiten, die in einem vordefinierten Zeitraum erfasst werden, um das aktuelle Wetter basierend auf der Anzahl von Bild-Frames zu bestimmen. Das Vordefinieren des Zeitraums ist hilfreich, um eine schnelle Verschiebung von Fusionsgewichtungen aufgrund von kurzzeitigen extremen Beleuchtungsmessungen zu vermeiden. In einer Implementierung kann das Beleuchtungsbedingungsdetektionsmodul 2120 als ein Bildklassifizierungsmodell implementiert sein, das die erfassten Bilder als eine von mehreren Beleuchtungsbedingungen, wie grelles Sonnenlicht, normale Beleuchtung, geringe Beleuchtung, Nacht und so weiter, klassifiziert. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Beleuchtungsbedingung für die Implementierung des Wetterbedingungsdetektionsmoduls 2120 anwendbar ist.
In einer Implementierung können das Wetterbedingungsdetektionsmodul 2110 und das Beleuchtungsbedingungsdetektionsmodul 2120 als ein einzelnes Bildklassifizierungsmodell implementiert sein, das die erfassten Bilder als eine von mehreren Wetterbedingungen und eine von mehreren Beleuchtungsbedingungen klassifiziert. Es versteht sich, dass ein beliebiges Verfahren zum gemeinsamen Bestimmen der Wetterbedingung und der Beleuchtungsbedingung für das Implementieren des Wetterbedingungsdetektionsmoduls 2110 und des Beleuchtungsbedingungsdetektionsmoduls 2120 als ein Modul anwendbar ist.
Das Kamerarauschdetektionsmodul 2130, das LiDAR-Rauschdetektionsmodul 2140 und das Radarrauschdetektionsmodul 2150 können jeweils aktuelle Rauschvarianzmetriken für das Kamerasystem 110, das LiDAR-System 120 und das Radarsystem 130 basierend auf einem Parameter der Sensoren bestimmen. Zum Beispiel kann der Parameter das Signalrauschen der Sensoren 110 - 130 sein. Als weiteres Beispiel kann bei einer beispielhaften Operation einer Objektdetektion der Parameter die Objektdetektionskonfidenz sein. Es versteht sich, dass ein beliebiges Verfahren zum Bestimmen der Rauschvarianzmetrik für einen Sensor in Aspekten der Offenbarung anwendbar ist.
In dem Beispiel von 3 schließt das Verarbeitungssystem 20 der Einrichtung 1 die Widerspruchsdetektionsmodule 240A bis 240C ein. Die Widerspruchsdetektionsmodule 240A bis 240C führen jeweils Widerspruchsdetektionsoperationen an Sensordaten durch, die von jeweiligen Sensoren, wie den Kameras 110, dem LiDAR 120 und dem Radar 130 erfasst werden, um eine Liste von Objekten zu erzeugen. Es versteht sich, dass im Beispiel des Heranziehens der Widerspruchsdetektionskonfidenz als den Parameter zum Bestimmen der Rauschvarianzmetrik die Operationen der Rauschdetektionsmodule 2130 - 2150 mit den Operationen der Widerspruchsdetektionsmodule 240A bis 240C assoziiert sein können. Es versteht sich, dass die Module 240A bis 240C in anderen Ausführungsformen andere Operationen oder Funktionen durchführen können, zum Beispiel können die von den Modulen 240A bis 240C durchgeführten Operationen Positionsdetektion, Geschwindigkeitsdetektion, Verfolgung und so weiter sein, und dementsprechend kann die entsprechende Operationskonfidenz als der Parameter zum Bestimmen der Rauschvarianzmetrik durch die Rauschdetektionsmodule 2130 - 2150 herangezogen werden.
In einer Ausführungsform kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110 und 120 basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 und der Wetterbedingung bestimmen, die durch das Kamerarauschdetektionsmodul 2130, das LiDAR-Rauschdetektionsmodul 2140 bzw. das Wetterbedingungsdetektionsmodul 2110 detektiert werden. Zum Beispiel können die Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 bestimmt werden, unter Verwendung der Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf dem aktuellen Wetter bestimmt werden, angepasst werden, um die angepassten Fusionsgewichtungen für die Sensoren 110 und 120 zu erhalten. In einem Beispiel kann die angepasste Fusionsgewichtung für einen Sensor die Multiplikation der Fusionsgewichtungen für den mit jeweiligen Bedingungen assoziierten Sensor sein. In dieser Ausführungsform kann die angepasste Fusionsgewichtung für die Kamera 110 die Multiplikation der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf dem aktuellen Wetter bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Multiplikation der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf dem aktuellen Wetter bestimmt wird, sein. In einem anderen Beispiel kann die angepasste Fusionsgewichtung für einen Sensor die Summe der Fusionsgewichtungen für den mit jeweiligen Bedingungen assoziierten Sensor sein. In dieser Ausführungsform kann die angepasste Fusionsgewichtung für die Kamera 110 die Summe der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf dem aktuellen Wetter bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Summe der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf dem aktuellen Wetter bestimmt wird, sein.
Das Sensorfusionsmodul 230 kann die Listen von Objekten, die von den Widerspruchsdetektionsmodulen 240A - 240B empfangen werden, basierend auf den Fusionsgewichtungen, die von dem Fusionsgewichtungsabstimmungsmodul 220 empfangen werden, fusionieren. Das Anpassen der Fusionsgewichtungen, die basierend auf den Rauschvarianzmetriken bestimmt werden, mit den Fusionsgewichtungen, die basierend auf dem aktuellen Wetter bestimmt werden, ist hilfreich, um die Zuverlässigkeit der Sensorfusion zu verbessern, wobei ein potenzielles Problem, das mit der Verwendung nur der Rauschvarianzmetriken für die Fusionsgewichtungsabstimmung assoziiert ist, abgeschwächt werden kann. Zum Beispiel können bei nebligen Bedingungen Kameradaten verwendet werden, um Objekte in geringer Entfernung mit hoher Konfidenz zu detektieren, aber es ist nicht bekannt, dass die Fähigkeit zur Abstandsverfolgung basierend auf Kameradaten beeinträchtigt ist. Durch das Heranziehen der Wetterbedingung als zusätzliche Informationen zusätzlich zu den Rauschvarianzmetriken, um die Fusionsgewichtungen der Sensoren zu bestimmen, können die Fusionsgewichtungen für die Kamera 110 rechtzeitig reduziert werden und können die Fusionsgewichtungen für das LiDAR 120 erhöht werden, um das potenzielle Problem in einem solchen Umstand abzuschwächen.
In einer Ausführungsform kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110 und 120 basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 und der Beleuchtungsbedingung bestimmen, die durch das Kamerarauschdetektionsmodul 2130, das LiDAR-Rauschdetektionsmodul 2140 bzw. das Beleuchtungsbedingungsdetektionsmodul 2120 detektiert werden. Zum Beispiel können die Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 bestimmt werden, unter Verwendung der Fusionsgewichtungen für die Sensoren 110 und 120 angepasst werden, die basierend auf dem aktuellen Beleuchtungsniveau bestimmt werden, um die angepassten Fusionsgewichtungen für die Sensoren 110 und 120 zu erhalten. In einem Beispiel kann die angepasste Fusionsgewichtung für die Kamera 110 die Multiplikation der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Multiplikation der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein. In einem anderen Beispiel kann die angepasste Fusionsgewichtung für die Kamera 110 die Summe der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Summe der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein.Das Sensorfusionsmodul 230 kann die Listen von Objekten, die von den Widerspruchsdetektionsmodulen 240A - 240B empfangen werden, basierend auf den Fusionsgewichtungen, die von dem Fusionsgewichtungsabstimmungsmodul 220 empfangen werden, fusionieren.
In einer Ausführungsform kann das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für die Sensoren 110 und 120 basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 sowie der Wetterbedingung und der Beleuchtungsbedingung bestimmen, die durch das Kamerarauschdetektionsmodul 2130, das LiDAR-Rauschdetektionsmodul 2140, das Wetterbedingungsdetektionsmodul 2110 bzw. das Beleuchtungsbedingungsdetektionsmodul 2120 detektiert werden. Zum Beispiel können die Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf den Rauschvarianzmetriken der Sensoren 110 und 120 bestimmt werden, unter Verwendung der Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf dem aktuellen Wetter bestimmt werden, und der Fusionsgewichtungen für die Sensoren 110 und 120, die basierend auf dem aktuellen Beleuchtungsniveau bestimmt werden, angepasst werden, um die angepassten Fusionsgewichtungen für die Sensoren 110 und 120 zu erhalten. In einem Beispiel kann die angepasste Fusionsgewichtung für die Kamera 110 die Multiplikation der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, der Fusionsgewichtung für die Kamera 110, die basierend auf dem aktuellen Wetter bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Multiplikation der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, der Fusionsgewichtung für das LiDAR 120, die basierend auf dem aktuellen Wetter bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein. In einem anderen Beispiel kann die angepasste Fusionsgewichtung für die Kamera 110 die Summe der Fusionsgewichtung für die Kamera 110, die basierend auf den Rauschvarianzmetriken der Kamera 110 bestimmt wird, der Fusionsgewichtung für die Kamera 110, die basierend auf dem aktuellen Wetter bestimmt wird, und der Fusionsgewichtung für die Kamera 110, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein, und die angepasste Fusionsgewichtung für das LiDAR 120 kann die Summe der Fusionsgewichtung für das LiDAR 120, die basierend auf den Rauschvarianzmetriken des LiDAR 120 bestimmt wird, der Fusionsgewichtung für das LiDAR 120, die basierend auf dem aktuellen Wetter bestimmt wird, und der Fusionsgewichtung für das LiDAR 120, die basierend auf der aktuellen Beleuchtungsbedingung bestimmt wird, sein. Das Sensorfusionsmodul 230 kann die Listen von Objekten, die von den Widerspruchsdetektionsmodulen 240A - 240B empfangen werden, basierend auf den Fusionsgewichtungen, die von dem Fusionsgewichtungsabstimmungsmodul 220 empfangen werden, fusionieren.
Es versteht sich, dass das Fusionsgewichtungsabstimmungsmodul 220 die Fusionsgewichtungen für beliebige zwei oder mehrere der Sensoren 110, 120 und 130 basierend auf den Rauschvarianzmetriken der zwei oder mehreren Sensoren sowie mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung bestimmen kann. Zum Beispiel können die Fusionsgewichtungen für die zwei oder mehreren Sensoren, die basierend auf ihren Rauschvarianzmetriken bestimmt werden, unter Verwendung von mindestens einem von den Fusionsgewichtungen für die zwei oder mehreren Sensoren, die basierend auf dem aktuellen Wetter bestimmt werden, und den Fusionsgewichtungen für die zwei oder mehreren Sensoren, die basierend auf dem aktuellen Beleuchtungsniveau bestimmt werden, angepasst werden, um die angepassten Fusionsgewichtungen für die zwei oder mehreren Sensoren zu erhalten. Das Sensorfusionsmodul 230 kann die Listen von Objekten, die von den entsprechenden zwei oder mehreren der Widerspruchsdetektionsmodule 240A - 240C empfangen werden, basierend auf den Fusionsgewichtungen, die von dem Fusionsgewichtungsabstimmungsmodul 220 empfangen werden, fusionieren.
4 ist ein Blockdiagramm, das eine beispielhafte Einrichtung gemäß Aspekten der Offenbarung veranschaulicht.
Der Unterschied der in 4 veranschaulichten Struktur von der von 3 besteht darin, dass das Widerspruchsdetektionsmodul 240 nach dem Betrieb des Sensorfusionsmoduls 230 arbeitet. Das Sensorfusionsmodul führt eine LLF-Fusion an den von den verschiedenen Sensoren, wie den Sensoren 110 - 130, erfassten Rohdaten durch oder führt eine MLF-Fusion an den extrahierten Merkmalen durch, die von verschiedenen Sensoren, wie den Sensoren 110 - 130, erhalten werden, wie vorstehend unter Bezugnahme auf 2 erläutert. Dann führt das Detektionsmodul 240 eine Widerspruchsdetektion basierend auf den fusionierten Daten durch. Andere Teile von 4 sind denen von 3 ähnlich, und die Einzelheiten werden hier nicht wiederholt.
Wie erläutert, können die an dem Sensorfusionsmodul 230 zu fusionierenden Informationen die Zielmessung, wie das detektierte Objekt, die detektierte Geschwindigkeit, die detektierte Position und so weiter, die durch die verschiedenen Sensoren erfassten Rohdaten und die Zwischendaten, wie die extrahierten Merkmale, und so weiter sein. Die verschiedenen Arten von Daten, die an dem Sensorfusionsmodul 230 fusioniert werden sollen, können allgemein als Informationen, die von Sensoren erhalten werden, bezeichnet werden.
5 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
In dem Beispiel von 5 fahren mehrere Autos 510 - 560 auf einer Straße. Jedes der Autos 510 - 560 kann die in 1, 3 und 4 veranschaulichte Einrichtung 1 sein oder einschließen und kann als eine Station, eine bewegliche Station und so weiter bezeichnet werden.
Bei Heranziehung der Station 510 als Beispiel kann die Station 510 eine oder mehrere Bedingungen bestimmen, die sich auf die Betriebsleistungsfähigkeit ihrer mehreren Sensoren, wie der Kamera 110, des LiDAR 120, des Radars 130 und so weiter, beziehen. Wie vorstehend veranschaulicht, können die eine oder die mehreren Bedingungen die Rauschvarianzmetriken der jeweiligen Sensoren 10, die Wetterbedingung, die Beleuchtungsbedingung und so weiter sein. Dann kann die Station 510 Fusionsgewichtungen für die mehreren Sensoren basierend auf der einen oder den mehreren Bedingungen bestimmen. Es versteht sich, dass die mehreren Sensoren beliebige zwei oder mehrere der Sensoren 110 - 130 sowie andere mögliche Sensoren, mit denen die Station 510 ausgestattet ist, sein können. Es kann eine Situation geben, bei der die Fusionsgewichtungen für die mehreren Sensoren, die durch die Station 510 basierend auf ihren eigenen Sensordaten bestimmt werden, aufgrund von temporären und extremen Messungen von den Sensoren, insbesondere für die Kameras 110, möglicherweise nicht zuverlässig oder konstant genau sind.
Um den Einfluss dieser Situation abzuschwächen, kann die Station 510 Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen erhalten, die sich innerhalb eines vordefinierten Bereichs der Station 510 befinden, und die Fusionsgewichtungen für die mehreren Sensoren der Station 510 basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen anpassen. Es versteht sich, dass die Station 510 über verschiedene Netzwerke, wie ein drahtloses lokales Netzwerk (Wireless Local Area Network, WLAN), ein drahtloses 4G-Kommunikationsnetzwerk, ein drahtloses 5G-Kommunikationsnetzwerk, die zukünftigen weiterentwickelten Netzwerke, wie 6G und so weiter, drahtlos mit den benachbarten Stationen kommunizieren kann. Das Kommunikationsnetzwerk ist in der 5 der Einfachheit halber nicht veranschaulicht.
Die benachbarten Stationen können zum Beispiel mindestens ein Teil der Stationen 520 bis 560, wie in 5 veranschaulicht, sowie gegebenenfalls andere Stationen sein. Der vordefinierte Bereich der Station 510 kann ein vordefinierter Abstand von der Station 510 sein. Zum Beispiel können die benachbarten Stationen, die sich innerhalb des vordefinierten Abstands von der Station 510 befinden, ähnliche Bedingungen, wie Wetterbedingungen und eine Beleuchtungsbedingung, aufweisen und können ihre aktuellen Fusionsgewichtungen der Station 510 bereitstellen, damit sie ihre Fusionsgewichtungen anpasst. Der vordefinierte Bereich der Station 510 kann eine vordefinierte Anzahl von benachbarten Stationen um die Station 510 sein. Zum Beispiel kann die Station 510 Fusionsgewichtungen von der vordefinierten Anzahl benachbarter Stationen um die Station 510 empfangen. Der vordefinierte Bereich der Station 510 kann eine Kombination des vorstehend erwähnten vordefinierten Abstands von der Station 510 und der vorstehend erwähnten vordefinierten Anzahl von benachbarten Stationen um die Station 510 sein.
Der Einfachheit halber werden die Stationen 520 - 560 als die benachbarten Stationen herangezogen, und die Sensoren 110 - 120 werden in der folgenden Beschreibung als die mehreren Sensoren herangezogen.
In einer Implementierung kann das Fusionsgewichtungsabstimmungsmodul 220 der Station 510 die Funktion des Anpassens der Fusionsgewichtungen für die mehreren Sensoren 110 - 120 der Station 510 basierend auf den erhaltenen Fusionsgewichtungen der mehreren Sensoren 110 - 120 der mehreren benachbarten Stationen 520 - 560 durchführen. Dann kann das Sensorfusionsmodul 230 der Station 510 eine Fusion von Informationen, die von den mehreren Sensoren 110 - 120 der Station 510 erhalten werden, basierend auf den angepassten Fusionsgewichtungen durchführen.
In einer Implementierung kann die Station 510, insbesondere das Fusionsgewichtungsabstimmungsmodul 220, die Fusionsgewichtung für ihren Sensor 110 anpassen, indem sie die Fusionsgewichtung für ihren Sensor 110 und die erhaltenen Fusionsgewichtungen für den Sensor 110 der mehreren benachbarten Stationen 520 - 560 mittelt. In ähnlicher Weise kann die Station 510 die Fusionsgewichtung für ihren Sensor 120 anpassen, indem sie die Fusionsgewichtung für ihren Sensor 120 und die erhaltenen Fusionsgewichtungen für den Sensor 120 der mehreren benachbarten Stationen 520 - 560 mittelt.
In einer Implementierung kann die Station 510 die Fusionsgewichtung für ihre Sensoren 110 oder 120 durch gewichtetes Mitteln der Fusionsgewichtung für den Sensor 110 oder 120 der mehreren Stationen 510 - 560 anpassen. Zum Berechnen der gewichteten mittleren Fusionsgewichtung für den Sensor 110 oder 120 unter den mehreren Stationen 510 - 560 kann das Berechnen von Gewichtungen für die Fusionsgewichtungen von den benachbarten Stationen 520 - 560 umgekehrt proportional zu den Abständen zwischen der jeweiligen benachbarten Station 520 - 560 und der Station 510 sein.
In einer Implementierung kann die Station 510 anormale Werte aus der Fusionsgewichtung für den Sensor 110 oder 120 der mehreren Stationen 510 - 560 verwerfen und dann die Fusionsgewichtung für ihren Sensor 110 oder 120 durch Mitteln oder gewichtetes Mitteln der verbliebenen Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren Stationen 510 - 560 anpassen. Die anormalen Werte können auf eine beliebige geeignete Weise bestimmt werden. Zum Beispiel können die anormalen Werte basierend auf einem vordefinierten Varianzbereich bestimmt werden, wobei ein Wert unter mehreren Fusionsgewichtungswerten der mehreren Stationen 510 - 560 als ein anormaler Wert herangezogen werden würde, wenn seine Abweichung vom Mittelwert außerhalb des Varianzbereichs liegt, andernfalls wird er als ein normaler Wert herangezogen.
In einer Implementierung, wenn die Station 510 bestimmt, dass die Fusionsgewichtung für ihren Sensor 110 oder 120 ein normaler Wert ist, kann sie die Fusionsgewichtung als ihre angepasste Fusionsgewichtung heranziehen, andernfalls kann sie diesen anormalen Wert verwerfen und die angepasste Fusionsgewichtung für den Sensor 110 oder 120 basierend auf den Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren benachbarten Stationen 520 - 560 erhalten.
In einer Implementierung kann die Station 510 die angepasste Fusionsgewichtung für ihren Sensor 110 oder 120 erhalten, indem sie zwischen der Fusionsgewichtung für den Sensor 110 oder 120 der mehreren Stationen 510 - 560 wählt. Wenn zum Beispiel die meisten Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren Stationen 510 - 560 den gleichen Wert angeben, kann die Station 510 diesen Wert als ihre angepasste Fusionsgewichtung für ihren Sensor 110 oder 120 heranziehen.
Wie vorstehend unter Bezugnahme auf 3 beschrieben, kann das Fusionsgewichtungsdetektionsmodul 220 der Station 510 Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf den Rauschvarianzmetriken ihres Sensors 110 und 120 und der Wetter- und/oder Beleuchtungsbedingung bestimmen. In einer Implementierung kann die Station 510 die Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren benachbarten Stationen 520 - 560 erhalten, die basierend auf der Rauschvarianzbedingung und der Wetter- und/oder Beleuchtungsbedingung für die mehreren benachbarten Stationen 520 - 560 bestimmt werden. Dann kann die Station 510 die Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf den erhaltenen Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren benachbarten Stationen 520 - 560 anpassen.
Wie vorstehend unter Bezugnahme auf 3 beschrieben, kann das Fusionsgewichtungsdetektionsmodul 220 der Station 510 erste Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf den Rauschvarianzmetriken des Sensors 110 und 120 bestimmen und zweite Fusionsgewichtungen und/oder dritte Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf der Wetter- und/oder Beleuchtungsbedingung bestimmen. In einer Implementierung kann die Station 510 zweite Fusionsgewichtungen und/oder dritte Fusionsgewichtungen für den Sensor 110 oder 120 der mehreren benachbarten Stationen 520 - 560 erhalten, die basierend auf der Wetter- und/oder Beleuchtungsbedingung für die mehreren benachbarten Stationen 520 - 560 bestimmt werden. Die Station 510 kann die zweiten Fusionsgewichtungen und/oder die dritten Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf den erhaltenen zweiten Fusionsgewichtungen und/oder dritten Fusionsgewichtungen für die mehreren benachbarten Stationen 520 - 560 anpassen. Die Station 510 kann die angepassten Fusionsgewichtungen für ihren Sensor 110 oder 120 basierend auf den ersten Fusionsgewichtungen, die durch sie selbst bestimmt werden, und den angepassten zweiten Fusionsgewichtungen und/oder den dritten Fusionsgewichtungen für ihren Sensor 110 oder 120 erhalten.
6 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
In dem Beispiel von 6 sind mehrere Überwachungsvorrichtungen 610 - 660 entlang eines Straßenrands eingestellt. Jede der Vorrichtungen 610 - 660 kann die in 1, 3 und 4 veranschaulichte Einrichtung 1 sein oder einschließen und kann als eine Station, eine stationäre Station und so weiter bezeichnet werden.
Die Struktur und Funktion der Überwachungsvorrichtungen 610 - 660 ähneln denen der Autos 510 - 560, die in 5 veranschaulicht sind, hinsichtlich der Aspekte der Offenbarung. Bei Heranziehung der Vorrichtung 610 als Beispiel ähnelt ihr Betrieb zum Anpassen der Fusionsgewichtungen für ihre Sensoren basierend auf Informationen von benachbarten Stationen, wie den Stationen 620 - 660, dem des Fahrzeugs 510, wie oben ausführlich beschrieben, daher werden die Einzelheiten nicht wiederholt.
In einer Implementierung können, da die Vorrichtungen 610 - 660 stationäre Stationen sind, die mehreren benachbarten Stationen, die sich innerhalb des vordefinierten Bereichs der Station 610 befinden, ein vordefinierter Satz benachbarter Stationen sein, die sich auf die Station 610 beziehen. Zum Beispiel kann der vordefinierte Satz benachbarter Stationen in Bezug auf die Station 610 zur Zeit des Einsatzes der Stationen 610 - 660 und so weiter eingestellt werden.
7 veranschaulicht ein beispielhaftes Szenario zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung.
In dem Beispiel von 7 können mehrere Überwachungsvorrichtungen 710 - 760 bzw. Autos 770 - 790 die in 1, 3 und 4 veranschaulichte Einrichtung 1 sein oder einschließen und können als eine Station bezeichnet werden.
Jede der Überwachungsvorrichtungen 710 - 760 und jedes der Autos 770 - 790 kann in der gleichen Weise wie die vorstehend unter Bezugnahme auf 5 und 6 beschriebene Station 510 und 610 arbeiten, und die benachbarten Stationen für eine bestimmte Station können sowohl die beweglichen Stationen 770 - 790 als auch die stationären Stationen 710 - 760 einschließen. Bei Heranziehung einer Station 770 als Beispiel können die benachbarten Stationen innerhalb eines vordefinierten Bereichs davon die Vorrichtungen 710 - 760 und die Autos 780 - 790 einschließen.
Obwohl in den Beispielen von 5 - 7 beschrieben ist, dass eine Station, wie die Station 510, die Operationen des Abstimmens der Sensorfusionsgewichtungen durchführt, versteht es sich, dass eine Netzwerkvorrichtung die Operationen für die Station durchführen kann. Zum Beispiel kann die Netzwerkvorrichtung die zugehörigen Daten von Stationen, wie den Stationen 510 - 560 und/oder den Stationen 610 - 660, erhalten, die angepassten Fusionsgewichtungen für jede Station 510 - 560 berechnen und bereitstellen.
8 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung veranschaulicht.
In Schritt 1010 können eine oder mehrere Bedingungen, die sich auf die Betriebsleistungsfähigkeit mehrerer Sensoren der Station beziehen, bestimmt werden.
In Schritt 1020 können Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der einen oder den mehreren Bedingungen bestimmt werden.
In Schritt 830 können Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden, erhalten werden.
In Schritt 840 können die Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen angepasst werden.
In Schritt 850 kann eine Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen durchgeführt werden.
In einer Ausführungsform kann die angepasste Fusionsgewichtung für jeden der mehreren Sensoren der Station durch Mitteln oder gewichtetes Mitteln der bestimmten Fusionsgewichtung für den Sensor der Station und der erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen erhalten werden.
In einer Ausführungsform können anormale Werte von den bestimmten Fusionsgewichtungen für die mehreren Sensoren der Station und den erhaltenen Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen verworfen werden. Und die angepasste Fusionsgewichtung für jeden der mehreren Sensoren der Station kann durch Mitteln oder gewichtetes Mitteln der verbliebenen Fusionsgewichtungen für den Sensor erhalten werden.
In einer Ausführungsform kann die angepasste Fusionsgewichtung für jeden der mehreren Sensoren der Station durch Wählen zwischen der bestimmten Fusionsgewichtung für den Sensor der Station und den erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen erhalten werden
In einer Ausführungsform kann basierend auf den erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen bestimmt werden, ob die bestimmte Fusionsgewichtung für jeden der mehreren Sensoren der Station ein normaler Wert oder ein anormaler Wert ist. Die bestimmte Fusionsgewichtung für den Sensor der Station kann als ihre angepasste Fusionsgewichtung herangezogen werden, wenn sie als der normale Wert bestimmt wird. Und die angepasste Fusionsgewichtung für den Sensor der Station kann basierend auf mindestens einem Teil der erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen erhalten werden, wenn die bestimmte Fusionsgewichtung für den Sensor der Station als der anormale Wert bestimmt wird.
In einer Ausführungsform sind die mehreren benachbarten Stationen, die sich innerhalb des vordefinierten Bereichs der Station befinden, mindestens eines von: mehreren benachbarten Stationen, die sich innerhalb eines vordefinierten Abstands von der Station befinden, einer vordefinierten Anzahl von benachbarten Stationen um die Station oder einem vordefinierten Satz benachbarter Stationen, die sich auf die Station beziehen.
In einer Ausführungsform können die eine oder die mehreren Bedingungen eines oder mehrere von einer Wetterbedingung, einer Beleuchtungsbedingung und einer Rauschvarianzbedingung für jeden der mehreren Sensoren umfassen. Die Rauschvarianzbedingung kann Rauschvarianzmetriken eines Parameters für jeden der mehreren Sensoren umfassen.
In einer Ausführungsform können die eine oder die mehreren Bedingungen die Rauschvarianzbedingung und mindestens eines von der Wetterbedingung und der Beleuchtungsbedingung umfassen.
In einer Ausführungsform können die Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der Rauschvarianzbedingung und mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung bestimmt werden. Und die Fusionsgewichtungen für die mehreren Sensoren der Station können basierend auf den Fusionsgewichtungen für die mehreren benachbarten Stationen angepasst werden, die basierend auf der Rauschvarianzbedingung und mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden.
In einer Ausführungsform können erste Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der Rauschvarianzbedingung bestimmt werden, und mindestens eines von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der Station kann basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung bestimmt werden. Das mindestens eine von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station kann basierend auf mindestens einem von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen, die basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden, angepasst werden. Und die angepassten Fusionsgewichtungen für die mehreren Sensoren der Station können basierend auf den ersten Fusionsgewichtungen und dem angepassten mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station erhalten werden.
In einer Ausführungsform kann mindestens eines von einer Wetterbedingung und einer Beleuchtungsbedingung basierend auf Bilddaten von einem Kamerasensor bestimmt werden.
In einer Ausführungsform können die mehreren Sensoren mindestens zwei von einem Kamerasensor, einem Radarsensor und einem LiDAR-Sensor umfassen. In einer Ausführungsform können die mehreren Sensoren einen Kamerasensor und einen Radarsensor umfassen. In einer Ausführungsform können die mehreren Sensoren einen Kamerasensor und einen LiDAR-Sensor umfassen. In einer Ausführungsform können die mehreren Sensoren einen Kamerasensor, einen Radarsensor und einen LiDAR-Sensor umfassen.
In einer Ausführungsform ist jede der Station und der mehreren benachbarten Stationen eine von einer mobilen Station, wie ein Fahrzeug, und einer stationären Station, wie eine Überwachungsvorrichtung, die an einem Mast entlang der Straße montiert ist.
9 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station gemäß Aspekten der Offenbarung veranschaulicht.
In Schritt 910 können Rauschvarianzmetriken für mehrere Sensoren der Station bestimmt werden.
In Schritt 920 kann mindestens eines von einer Wetterbedingung und einer Beleuchtungsbedingung für die Station bestimmt werden.
In Schritt 930 können Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken und dem mindestens einen von der Wetterbedingung und der Beleuchtungsbedingung bestimmt werden.
In Schritt 940 kann eine Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den Fusionsgewichtungen erhalten werden.
In einer Ausführungsform können erste Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken der mehreren Sensoren bestimmt werden. Mindestens eines von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der Station kann basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die Station bestimmt werden. Und die Fusionsgewichtungen für die mehreren Sensoren der Station können basierend auf den ersten Fusionsgewichtungen und dem mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen bestimmt werden.
In einer Ausführungsform kann mindestens eines von der Wetterbedingung und der Beleuchtungsbedingung für die Station basierend auf Bilddaten von einem Kamerasensor bestimmt werden.
In einer Ausführungsform kann mindestens eines von der Wetterbedingung und der Beleuchtungsbedingung für die Station durch Analysieren einer vordefinierten Anzahl von Bild-Frames bestimmt werden, die durch den Kamerasensor erfasst werden.
In einer Ausführungsform können Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden, erhalten werden. Die Fusionsgewichtungen für die mehreren Sensoren der Station können basierend auf erhaltenen Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen angepasst werden. Die Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, kann basierend auf den angepassten Fusionsgewichtungen durchgeführt werden.
In einer Ausführungsform kann mindestens eines von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden, erhalten werden, wobei das mindestens eine von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden können. Das mindestens eine von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station kann basierend auf dem erhaltenen mindestens einen von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen angepasst werden. Und die angepassten Fusionsgewichtungen für die mehreren Sensoren der Station können basierend auf den ersten Fusionsgewichtungen und dem angepassten mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station erhalten werden.
10 ist ein Blockdiagramm, das ein beispielhaftes Rechensystem gemäß Aspekten der Offenbarung veranschaulicht.
Das Rechensystem 1000 kann mindestens einen Prozessor 1010 umfassen. Das Rechensystem 1000 kann ferner mindestens eine Speichervorrichtung 1020 umfassen. Es versteht sich, dass das Rechensystem 1000 dazu ausgelegt sein kann, das Verarbeitungssystem 20, wie in 1, 3 und 4 veranschaulicht, zu implementieren.
Die Speichervorrichtung 1020 kann computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, den Prozessor 1010 veranlassen, eine oder mehrere Bedingungen in Bezug auf die Betriebsleistungsfähigkeit mehrerer Sensoren einer Station zu bestimmen, Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der einen oder den mehreren Bedingungen zu bestimmen, Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden, zu erhalten, die Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen anzupassen und eine Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen durchzuführen.
Die Speichervorrichtung 1020 kann computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, den Prozessor 1010 veranlassen, Rauschvarianzmetriken für mehrere Sensoren einer Station zu bestimmen, mindestens eines von einer Wetterbedingung und einer Beleuchtungsbedingung für die Station zu bestimmen, Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken und dem mindestens einen von der Wetterbedingung und der Beleuchtungsbedingung zu bestimmen und eine Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den Fusionsgewichtungen durchzuführen.
Es versteht sich, dass die Speichervorrichtung 1020 computerausführbare Anweisungen speichern kann, die, wenn sie ausgeführt werden, den Prozessor 1010 veranlassen, Operationen gemäß den Ausführungsformen der vorliegenden Offenbarung durchzuführen, wie in Verbindung mit 1 - 9 beschrieben.
Die Ausführungsformen der vorliegenden Offenbarung können in einem computerlesbaren Medium, wie einem nichtflüchtigen computerlesbaren Medium, umgesetzt sein. Das nichtflüchtige computerlesbare Medium kann Anweisungen umfassen, die, wenn sie ausgeführt werden, einen oder mehrere Prozessoren veranlassen, Operationen gemäß den Ausführungsformen der vorliegenden Offenbarung durchzuführen, wie in Verbindung mit 1 - 10 beschrieben.
Die Ausführungsformen der vorliegenden Offenbarung können als ein Computerprogrammprodukt umgesetzt sein, das Anweisungen umfasst, die, wenn sie ausgeführt werden, einen oder mehrere Prozessoren veranlassen, Operationen gemäß den Ausführungsformen der vorliegenden Offenbarung durchzuführen, wie in Verbindung mit 1 - 10 beschrieben.
Es versteht sich, dass alle Operationen in den vorstehend beschriebenen Verfahren lediglich beispielhaft sind und die vorliegende Offenbarung nicht auf Operationen in den Verfahren oder Sequenzreihenfolgen dieser Operationen beschränkt ist und alle anderen Äquivalente unter den gleichen oder ähnlichen Konzepten abdecken sollte.
Es versteht sich außerdem, dass alle Module in den vorstehend beschriebenen Einrichtungen in verschiedenen Ansätzen implementiert werden können. Diese Module können als Hardware, Software oder eine Kombination davon implementiert sein. Darüber hinaus können beliebige dieser Module ferner funktional in Untermodule unterteilt oder miteinander kombiniert werden.
Die vorherige Beschreibung wird bereitgestellt, um es jedem Fachmann zu ermöglichen, die verschiedenen hierin beschriebenen Aspekte auszuführen. Verschiedene Modifikationen dieser Aspekte werden dem Fachmann leicht ersichtlich sein, und die hierin definierten generischen Prinzipien können auf andere Aspekte angewendet werden. Somit sollen die Ansprüche nicht auf die hierin gezeigten Aspekte beschränkt sein. Alle strukturellen und funktionellen Äquivalente zu den Elementen der verschiedenen Aspekte, die in der gesamten vorliegenden Offenbarung beschrieben sind, die dem Durchschnittsfachmann bekannt sind oder später bekannt werden, werden hierin ausdrücklich durch Bezugnahme aufgenommen und sollen durch die Ansprüche eingeschlossen sein.

Claims

Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station, umfassend: Bestimmen einer oder mehrerer Bedingungen, die sich auf die Betriebsleistungsfähigkeit mehrerer Sensoren der Station beziehen; Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der einen oder den mehreren Bedingungen; Erhalten von Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden; Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den erhaltenen Fusionsgewichtungen für die mehreren benachbarten Stationen; und Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen.
Verfahren nach Anspruch 1, wobei das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Erhalten der angepassten Fusionsgewichtung für jeden der mehreren Sensoren der Station durch Mitteln oder gewichtetes Mitteln der bestimmten Fusionsgewichtung für den Sensor der Station und der erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen.
Verfahren nach Anspruch 1, wobei das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Verwerfen anormaler Werte von den bestimmten Fusionsgewichtungen für die mehreren Sensoren der Station und den erhaltenen Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen; und Erhalten der angepassten Fusionsgewichtung für jeden der mehreren Sensoren der Station durch Mitteln oder gewichtetes Mitteln der verbliebenen Fusionsgewichtungen für den Sensor.
Verfahren nach Anspruch 1, wobei das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Erhalten der angepassten Fusionsgewichtung für jeden der mehreren Sensoren der Station durch Wählen zwischen der bestimmten Fusionsgewichtung für den Sensor der Station und den erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen.
Verfahren nach Anspruch 1, wobei das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Bestimmen, ob die bestimmte Fusionsgewichtung für jeden der mehreren Sensoren der Station ein normaler Wert oder ein anormaler Wert ist, basierend auf den erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen; Heranziehen der bestimmten Fusionsgewichtung für den Sensor der Station als seine angepasste Fusionsgewichtung, wenn sie als der normale Wert bestimmt wird; und Erhalten der angepassten Fusionsgewichtung für den Sensor der Station basierend auf mindestens einem Teil der erhaltenen Fusionsgewichtungen für den Sensor der mehreren benachbarten Stationen, wenn die bestimmte Fusionsgewichtung für den Sensor der Station als der anormale Wert bestimmt wird.
Verfahren nach Anspruch 1, wobei die mehreren benachbarten Stationen, die sich innerhalb des vordefinierten Bereichs der Station befinden, mindestens eines sind von: mehreren benachbarten Stationen, die sich innerhalb eines vordefinierten Abstands von der Station befinden; einer vordefinierten Anzahl von benachbarten Stationen um die Station; oder einem vordefinierten Satz von benachbarten Stationen, die sich auf die Station beziehen.
Verfahren nach Anspruch 1, wobei die eine oder die mehreren Bedingungen eines oder mehrere von einer Wetterbedingung, einer Beleuchtungsbedingung und einer Rauschvarianzbedingung für jeden der mehreren Sensoren umfassen.
Verfahren nach Anspruch 7, wobei die eine oder die mehreren Bedingungen die Rauschvarianzbedingung und mindestens eines von der Wetterbedingung und der Beleuchtungsbedingung umfassen.
Verfahren nach Anspruch 7, wobei das Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Bestimmen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der Rauschvarianzbedingung und mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung; und das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Fusionsgewichtungen für die mehreren benachbarten Stationen, die basierend auf der Rauschvarianzbedingung und mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden.
Verfahren nach Anspruch 7, wobei das Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Bestimmen von ersten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf der Rauschvarianzbedingung und Bestimmen von mindestens einem von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung; und das Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station umfasst: Anpassen des mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf mindestens einem von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen, die basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden, und Erhalten der angepassten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den ersten Fusionsgewichtungen und dem angepassten mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station.
Verfahren nach Anspruch 1, wobei das Bestimmen von einer oder mehreren Bedingungen ein Bestimmen von mindestens einem von einer Wetterbedingung und einer Beleuchtungsbedingung basierend auf Bilddaten von einem Kamerasensor umfasst.
Verfahren nach Anspruch 1, wobei die mehreren Sensoren mindestens zwei von einem Kamerasensor, einem Radarsensor und einem LiDAR-Sensor umfassen.
Verfahren nach Anspruch 1, wobei jede von der Station und den mehreren benachbarten Stationen eine von einer mobilen Station und einer stationären Station ist.
Verfahren zum Abstimmen von Sensorfusionsgewichtungen für eine Station, umfassend: Bestimmen von Rauschvarianzmetriken für mehrere Sensoren der Station; Bestimmen von mindestens einem von einer Wetterbedingung und einer Beleuchtungsbedingung für die Station; Bestimmen von Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken und dem mindestens einen von der Wetterbedingung und der Beleuchtungsbedingung; und Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den Fusionsgewichtungen.
Verfahren nach Anspruch 14, wobei das Bestimmen von Fusionsgewichtungen für mehrere Sensoren der Station umfasst: Bestimmen von ersten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den Rauschvarianzmetriken der mehreren Sensoren; Bestimmen von mindestens einem von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die Station; und Bestimmen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den ersten Fusionsgewichtungen und dem mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen.
Verfahren nach Anspruch 15, wobei das Bestimmen von mindestens einem von einer Wetterbedingung und einer Beleuchtungsbedingung für die Station umfasst: Bestimmen von mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die Station basierend auf Bilddaten von einem Kamerasensor.
Verfahren nach Anspruch 16, wobei das Bestimmen von mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die Station basierend auf Bilddaten von einem Kamerasensor umfasst: Bestimmen von mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die Station durch Analysieren einer vordefinierten Anzahl von Bild-Frames, die durch den Kamerasensor erfasst werden.
Verfahren nach Anspruch 14, ferner umfassend: Erhalten von Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden; und Anpassen der Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf erhaltenen Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen, wobei das Durchführen einer Fusion von Informationen ein Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen umfasst.
Verfahren nach Anspruch 15, ferner umfassend: Erhalten von mindestens einem von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren mehrerer benachbarter Stationen, die sich innerhalb eines vordefinierten Bereichs der Station befinden, die basierend auf mindestens einem von der Wetterbedingung und der Beleuchtungsbedingung für die mehreren benachbarten Stationen bestimmt werden; Anpassen des mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf dem erhaltenen mindestens einen von zweiten Fusionsgewichtungen und dritten Fusionsgewichtungen für die mehreren Sensoren der mehreren benachbarten Stationen; und Erhalten der angepassten Fusionsgewichtungen für die mehreren Sensoren der Station basierend auf den ersten Fusionsgewichtungen und dem angepassten mindestens einen von den zweiten Fusionsgewichtungen und den dritten Fusionsgewichtungen für die mehreren Sensoren der Station, wobei das Durchführen einer Fusion von Informationen ein Durchführen einer Fusion von Informationen, die von den mehreren Sensoren der Station erhalten werden, basierend auf den angepassten Fusionsgewichtungen umfasst.
Computersystem, umfassend: einen oder mehrere Prozessoren; und eine oder mehrere Speichervorrichtungen, die computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Operationen des Verfahrens nach einem der Ansprüche 1-19 durchführen.
Ein oder mehrere computerlesbare Speichermedien, die computerausführbare Anweisungen speichern, die, wenn sie ausgeführt werden, einen oder mehrere Prozessoren veranlassen, die Operationen des Verfahrens nach einem der Ansprüche 1-19 durchzuführen.
Einrichtung zum Anpassen von Sensorfusionsgewichtungen, umfassend: eine Vielzahl von Sensoren zum Erhalten von Sensordaten; und ein Verarbeitungssystem zum Ausführen von Anweisungen, die das Verarbeitungssystem veranlassen, die Operationen des Verfahrens nach einem der Ansprüche 1-19 durchzuführen.