DE102022117260A1

DE102022117260A1 - Fahrzeug mit vollgeschwindigkeitsbestimmung mit radar

Info

Publication number: DE102022117260A1
Application number: DE102022117260.0A
Authority: DE
Inventors: Xiaoming Liu; Daniel Morris; Yunfei Long; Marcos Pau Gerardo Castro; Punarjay Chakravarty; Praveen Narayanan
Original assignee: Ford Global Technologies LLC; Michigan State University MSU
Current assignee: Ford Global Technologies LLC; Michigan State University MSU
Priority date: 2021-07-23
Filing date: 2022-07-11
Publication date: 2023-01-26
Also published as: CN115691156A; US20230023347A1

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Radardaten, die ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist, von einem Radar zu empfangen; Kameradaten, die ein Einzelbild beinhalten, das Kamerapixel beinhaltet, von einer Kamera zu empfangen; das Radarpixel auf das Einzelbild abzubilden; eine Region des Einzelbilds, die das Radarpixel umgibt, zu erzeugen; Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region zu bestimmen; ein erstes Kamerapixel der Kamerapixel aus der Region auszuwählen, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und eine Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel zu berechnen. Die Zuordnungsbewertungen geben eine Wahrscheinlichkeit an, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel.

Description

GEBIET DER TECHNIK
Die vorliegende Offenbarung betrifft Vollgeschwindigkeitsbestimmung mit Radar in Fahrzeugen.
ALLGEMEINER STAND DER TECHNIK
Fahrzeuge sind typischerweise mit einer oder mehreren Kameras und einem oder mehreren Radaren ausgestattet. Die Kameras können elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen detektieren. Zum Beispiel können die Kameras sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen, der sichtbares, infrarotes und/oder ultraviolettes Licht beinhaltet, detektieren. Radare übertragen Funkwellen und empfangen Reflexionen dieser Funkwellen, um physische Objekte in der Umgebung zu detektieren. Radare können die direkte Ausbreitung, d. h. das Messen von Zeitverzögerungen zwischen der Übertragung und dem Empfang von Funkwellen, oder die indirekte Ausbreitung, d. h. ein frequenzmoduliertes Dauerstrich-(frequency modulated continuous wave - FMCW-)Verfahren, verwenden, d. h. das Messen von Änderungen der Frequenz zwischen übertragenen und empfangenen Funkwellen.
KURZDARSTELLUNG
Radare sind dazu ausgestattet, Radialgeschwindigkeiten von Punkten in der Umgebung relativ zu dem Radar, jedoch nicht die Vollgeschwindigkeiten, zurückzugeben. Eine Vollgeschwindigkeit ist die Bewegungsgeschwindigkeit und -richtung eines Punkts in der Umgebung, z. B. eines Punkts an einem sich bewegenden Objekt, entweder relativ zu dem Radar oder zu der Umgebung. Eine absolute Vollgeschwindigkeit, d. h. eine Vollgeschwindigkeit relativ zur Umgebung, kann durch Subtrahieren einer Geschwindigkeit eines Fahrzeugs, das das Radar beinhaltet, von der relativen Vollgeschwindigkeit, d. h. einer Vollgeschwindigkeit relativ zu dem Radar, bestimmt werden. Eine Radialgeschwindigkeit eines Punkts ist im Kontext von Radardaten die Komponente der Vollgeschwindigkeit entlang einer Linie von dem Punkt zu dem Radar. Radare können Radialgeschwindigkeiten von Punkten in der Umgebung durch Nutzen des Doppler-Effekts detektieren. Die Vollgeschwindigkeit eines Punkts ist die Summe der Radialgeschwindigkeit und der Tangentialgeschwindigkeit des Punkts. Eine Radialgeschwindigkeit eines Punkts ist im Kontext von Radardaten die Komponente der Vollgeschwindigkeit in einer Ebene, die den Punkt enthält, und ist orthogonal zu der Linie von dem Punkt zu dem Radar. Radare sind nicht dazu ausgestattet, eine direkte Messung von Tangentialgeschwindigkeiten bereitzustellen.
Die in dieser Schrift beschriebenen Systeme und Verfahren stellen eine punktweise Bestimmung der Vollgeschwindigkeit von durch ein Radar detektierten Punkten breit. Anders ausgedrückt bestimmt das System die Vollgeschwindigkeit für jedes Radarpixel der Radardaten. Das System stellt Vollgeschwindigkeiten unter Verwendung von Daten von dem Radar und Daten von einer Kamera bereit. Das System verwendet eine geschlossene Berechnung für die Vollgeschwindigkeiten, was bedeutet, dass die Vollgeschwindigkeiten zuverlässig und mit geringem Rechenaufwand bereitgestellt werden können. Darüber hinaus stellt das System eine genaue Zuordnung zwischen den Radardaten und den Kameradaten bereit. Die Zuordnung zwischen den Radardaten und den Kameradaten stellt genaue Eingaben für die geschlossene Berechnung bereit, wodurch sichergestellt wird, dass die ausgegebenen Vollgeschwindigkeiten ebenfalls genau sind. Ein Fahrzeug, das das Radar beinhaltet, kann die Vollgeschwindigkeiten für den autonomen oder halbautonomen Betrieb verwenden.
Ein Computer beinhaltet einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Radardaten von einem Radar zu empfangen, wobei die Radardaten ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist; Kameradaten von einer Kamera zu empfangen, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; das Radarpixel auf das Einzelbild abzubilden; eine Region des Einzelbilds, die das Radarpixel umgibt, zu erzeugen; Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region zu bestimmen, wobei die Zuordnungsbewertungen eine Wahrscheinlichkeit angeben, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel; ein erstes Kamerapixel der Kamerapixel aus der Region auszuwählen, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und eine Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel zu berechnen.
Die Anweisungen können ferner Anweisungen beinhalten, um ein Fahrzeug, das das Radar und die Kamera beinhaltet, auf Grundlage der Vollgeschwindigkeit zu betreiben.
Das Abbilden des Radarpixels auf das Einzelbild kann Anwenden einer geometrischen Transformation auf das Radarpixel beinhalten.
Das Bestimmen der Zuordnungsbewertungen kann Ausführen eines trainierten Netzes beinhalten. Eingaben in das trainierte Netz können die Radardaten, das Einzelbild und den optischen Fluss des Einzelbilds beinhalten. Die Radardaten können über ein Zeitintervall gesammelt werden.
Das trainierte Netz kann ein neuronales Faltungsnetz sein.
Das trainierte Netz kann ein Codierer-Decodierer-Netz sein.
Das trainierte Netz kann durch Minimieren eines Fehlers zwischen einer Ground-Truth-Geschwindigkeit des Radarpixels und projizierten Vollgeschwindigkeiten des Radarpixels unter Verwendung der jeweiligen Kamerapixel trainiert werden. Jede projizierte Vollgeschwindigkeit kann unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines jeweiligen optischen Flusses an dem jeweiligen Kamerapixel berechnet werden.
Das Einzelbild kann ein erstes Einzelbild sein, die Kameradaten können ein zweites Einzelbild beinhalten und der erste optische Fluss kann ein Verschieben zwischen dem ersten Einzelbild an dem ersten Kamerapixel und dem zweiten Einzelbild darstellen.
Die Region kann eine voreingestellte Position in dem Einzelbild relativ zu dem Radarpixel aufweisen. Die Region kann eine voreingestellte Form in dem Einzelbild sein und die voreingestellte Form kann eine größere Höhe als Breite aufweisen.
Die Region kann eine voreingestellte Form in dem Einzelbild sein und die voreingestellte Form kann sich von dem Radarpixel um einen größeren Abstand vertikal nach oben als nach unten erstrecken.
Die Anweisungen können ferner Anweisungen beinhalten, um das Berechnen der Vollgeschwindigkeit des Radarpixels zu unterlassen, wenn die größte Zuordnungsbewertung unter einer Schwellenzuordnungsbewertung liegt.
Das Berechnen der Vollgeschwindigkeit des Radarpixels kann Durchführen einer geschlossenen Berechnung sein.
Die Vollgeschwindigkeit des Radarpixels kann nur unter Verwendung der Radardaten und der Kameradaten berechnet werden.
Das erste Kamerapixel kann sich an einer aktualisierten Stelle in dem Einzelbild von einer Stelle, auf die das Radarpixel in dem Einzelbild abgebildet wurde, befinden.
Die Radardaten können Einzelzeilendaten sein und die Radardaten können horizontal spärlicher sein als die Kameradaten.
Ein Verfahren beinhaltet Empfangen von Radardaten von einem Radar, wobei die Radardaten ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden des Radarpixels auf das Einzelbild; Erzeugen einer Region des Einzelbilds, die das Radarpixel umgibt; Bestimmen von Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region, wobei die Zuordnungsbewertungen eine Wahrscheinlichkeit angeben, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel; Auswählen eines ersten Kamerapixels der Kamerapixel aus der Region, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und Berechnen einer Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs mit einem Radar und einer Kamera.
2 ist eine schematische Seitenansicht des Fahrzeugs und eines beispielhaften Objekts, das durch das Radar und die Kamera detektiert wird.
3 ist ein beispielhaftes Einzelbild von der Kamera mit Radarpixeln von dem Radar, die auf das Einzelbild abgebildet sind.
4 ist eine Darstellung von beispielhaften Regionen, die die Radarpixel in dem Einzelbild umgeben.
5 ist eine Darstellung einer beispielhaften Bewegung durch einen Punkt, der durch die Kamera und das Radar detektiert wird.
6 ist ein Prozessablaufdiagramm eines beispielhaften Prozesses zum Bestimmen von Vollgeschwindigkeiten der Radarpixel und zum Betreiben des Fahrzeugs auf Grundlage von Daten von der Kamera und dem Radar.

DETAILLIERTE BESCHREIBUNG
Unter Bezugnahme auf die Figuren, in denen gleiche Bezugszeichen gleiche Teile in den verschiedenen Ansichten bezeichnen, beinhaltet ein Computer 102 für ein Fahrzeug 100 einen Prozessor und einen Speicher, der Anweisungen speichert, die durch den Prozessor ausführbar sind, um Radardaten von einem Radar 114 zu empfangen, wobei die Radardaten ein Radarpixel 116 beinhalten, das eine Radialgeschwindigkeit aufweist; Kameradaten von einer Kamera 112 zu empfangen, wobei die Kameradaten ein Einzelbild 118 beinhalten, das Kamerapixel 120 beinhaltet; das Radarpixel 116 auf das Einzelbild 118 abzubilden; eine Region 122 des Einzelbilds 118, die das Radarpixel 116 umgibt, zu erzeugen; Zuordnungsbewertungen für die j eweiligen Kamerapixel 120 in der Region 122 zu bestimmen; ein erstes Kamerapixel 120 der Kamerapixel 120 aus der Region 122 auszuwählen, wobei das erste Kamerapixel 120 eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und eine Vollgeschwindigkeit des Radarpixels 116 unter Verwendung der Radialgeschwindigkeit des Radarpixels 116 und eines ersten optischen Flusses an dem ersten Kamerapixel 120 zu berechnen. Die Zuordnungsbewertungen geben eine Wahrscheinlichkeit an, dass die j eweiligen Kamerapixel 120 einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel 116.
Unter Bezugnahme auf 1 kann das Fahrzeug 100 ein beliebiges Personen- oder Nutzfahrzeug sein, wie etwa ein Auto, ein Truck, ein Geländewagen, ein Crossover, ein Van, ein Minivan, ein Taxi, ein Bus usw.
Bei dem Fahrzeug 100 kann es sich um ein autonomes oder halbautonomes Fahrzeug handeln. Der Computer 102 kann dazu programmiert sein, das Fahrzeug 100 vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Betreibers zu betreiben. Der Computer 102 kann dazu programmiert sein, einen Antrieb 106, ein Bremssystem 108, ein Lenksystem 110 und/oder andere Fahrzeugsysteme auf Grundlage von Daten von der Kamera 112 und dem Radar 114 sowie anderen Sensoren zu betreiben. Für die Zwecke dieser Offenbarung ist unter einem autonomen Betrieb zu verstehen, dass der Computer 102 den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 ohne Eingabe von einem menschlichen Betreiber steuert; ist unter einem halbautonomen Betrieb zu verstehen, dass der Computer 102 eines oder zwei von dem Antrieb 106, dem Bremssystem 108 und dem Lenksystem 110 steuert und ein menschlicher Betreiber den Rest steuert; und ist unter einem nicht autonomen Betrieb zu verstehen, dass ein menschlicher Betreiber den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 steuert.
Der Computer 102 ist eine mikroprozessorbasierte Rechenvorrichtung, z. B. eine generische Rechenvorrichtung, die einen Prozessor und einen Speicher, eine elektronische Steuerung oder dergleichen, ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (application-specific integrated circuit - ASIC), eine Kombination des Vorstehenden usw. beinhaltet. Typischerweise wird eine Hardwarebeschreibungssprache, wie etwa VHDL (Hardware-Beschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit), verwendet, um digitale und Mischsignal-Systeme, wie etwa FPGA und ASIC, zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage von VHDL-Programmierung hergestellt, die vor der Herstellung bereitgestellt wird, wohingegen logische Komponenten innerhalb einer FPGA auf Grundlage von VHDL-Programmierung konfiguriert sein können, z. B. auf einem Speicher gespeichert, der elektrisch mit der FPGA-Schaltung verbunden ist. Der Computer 102 kann somit einen Prozessor, einen Speicher usw. beinhalten. Der Speicher des Computers 102 kann Medien zum Speichern von Anweisungen, die durch den Prozessor ausführbar sind, sowie zum elektronischen Speichern von Daten und/oder Datenbanken beinhalten und/oder der Computer 102 kann Strukturen wie etwa die vorstehenden beinhalten, durch die Programmierung bereitgestellt wird. Der Computer 102 kann aus mehreren miteinander gekoppelten Computern bestehen.
Der Computer 102 kann Daten über ein Kommunikationsnetzwerk 104 übertragen und empfangen, wie etwa einen Controller-Area-Network-(CAN-)Bus, Ethernet, WLAN, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetzwerk. Der Computer 102 kann über das Kommunikationsnetzwerk 104 kommunikativ an die Kamera 112, das Radar 114, den Antrieb 106, das Bremssystem 108, das Lenksystem 110 und andere Komponenten gekoppelt sein.
Der Antrieb 106 des Fahrzeugs 100 erzeugt Energie und wandelt die Energie in Bewegung des Fahrzeugs 100 um. Bei dem Antrieb 106 kann es sich um Folgendes handeln: ein herkömmliches Teilsystem des Fahrzeugantriebs, zum Beispiel einen herkömmlichen Antriebsstrang, der eine Brennkraftmaschine beinhaltet, die an ein Getriebe gekoppelt ist, das eine Rotationsbewegung auf Räder überträgt; einen elektrischen Antriebsstrang, der Batterien, einen Elektromotor und ein Getriebe, das Rotationsbewegung auf die Räder überträgt, beinhaltet; einen Hybridantriebsstrang, der Elemente des herkömmlichen Antriebsstrangs und des elektrischen Antriebsstrangs beinhaltet; oder eine beliebige andere Antriebsart. Der Antrieb 106 kann eine elektronische Steuereinheit (electronic control unit - ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Betreiber in Kommunikation steht und Eingaben von diesen empfängt. Der menschliche Betreiber kann den Antrieb 106 z. B. über ein Fahrpedal und/oder einen Gangschalthebel steuern.
Das Bremssystem 108 ist typischerweise ein herkömmliches Teilsystem zum Bremsen eines Fahrzeugs und wirkt der Bewegung des Fahrzeugs 100 entgegen, um dadurch das Fahrzeug 100 zu verlangsamen und/oder anzuhalten. Das Bremssystem 108 kann Folgendes beinhalten: Reibungsbremsen, wie etwa Scheibenbremsen, Trommelbremsen, Bandbremsen usw.; Nutzbremsen; eine beliebige andere geeignete Art von Bremsen; oder eine Kombination. Das Bremssystem 108 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Betreiber in Kommunikation steht und Eingaben von diesen empfängt. Der menschliche Betreiber kann das Bremssystem 108 z. B. über ein Bremspedal steuern.
Das Lenksystem 110 ist typischerweise ein herkömmliches Teilsystem zum Lenken eines Fahrzeugs und steuert das Einlenken der Räder. Bei dem Lenksystem 110 kann es sich um ein Zahnstangensystem mit elektrischer Servolenkung, ein Steer-by-Wire-System, wie sie beide bekannt sind, oder ein beliebiges anderes geeignetes System handeln. Das Lenksystem 110 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Betreiber in Kommunikation steht und Eingaben von diesen empfängt. Der menschliche Betreiber kann das Lenksystem 110 z. B. über ein Lenkrad steuern.
Die Kamera 112 detektiert elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen. Zum Beispiel kann die Kamera 112 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen detektieren, der sichtbares, infrarotes und/oder ultraviolettes Licht beinhaltet. Zum Beispiel kann die Kamera 112 eine ladungsgekoppelte Vorrichtung (charge-coupled device - CCD), ein komplementärer MetallOxid-Halbleiter (complementary metal oxide semiconductor - CMOS) oder eine beliebige andere geeignete Art sein.
Das Radar 114 überträgt Funkwellen und empfängt Reflexionen dieser Funkwellen, um physische Objekte in der Umgebung zu detektieren. Das Radar 114 kann die direkte Ausbreitung, d. h. das Messen von Zeitverzögerungen zwischen der Übertragung und dem Empfang von Funkwellen, und/oder die indirekte Ausbreitung, d. h. ein frequenzmoduliertes Dauerstrich-(FMCW-)Verfahren, verwenden, d. h. das Messen von Änderungen der Frequenz zwischen übertragenen und empfangenen Funkwellen.
Unter Bezugnahme auf 2 können die Kamera 112 und das Radar 114 relativ zueinander fest sein, insbesondere feste Positionen und Ausrichtungen relativ zueinander aufweisen. Zum Beispiel kann die Kamera 112 höher und weiter hinten montiert sein als das Radar 114. Die Kamera 112 kann auf einem Dach des Fahrzeugs 100 oder an einer Decke des Fahrzeugs 100 innerhalb einer Windschutzscheibe montiert sein. Das Radar 114 kann an einem vorderen Stoßfänger des Fahrzeugs 100 montiert sein. Die Kamera 112 und das Radar 114 können stattdessen an anderen Stellen des Fahrzeugs 100 befestigt sein. Die Kamera 112 und das Radar 114 sind so ausgerichtet, dass sich ihre Sichtfelder überlappen. Zum Beispiel können die Kamera 112 und das Radar 114 beide in einer Fahrzeugvorwärtsrichtung ausgerichtet sein. Unter Bezugnahme auf 3 erzeugt die Kamera 112 die Kameradaten. Bei den Kameradaten handelt es sich um eine Vielzahl, d. h. eine Folge von Einzelbildern 118 des Sichtfelds der Kamera 112. Jedes Einzelbild 118 ist eine zweidimensionale Matrix, die Kamerapixel 120 beinhaltet. (Wenngleich die Kamerapixel 120 in 4 nur in den oberen linken Ecken des Einzelbilds 118 und einer der Regionen 122 gezeigt sind, da es unpraktisch wäre, sie alle zu zeigen, erstrecken sich die Kamerapixel 120 über eine Gesamtheit des Einzelbilds 118.) Jedes Kamerapixel 120 weist eine Helligkeit oder Farbe auf, die als ein oder mehrere numerische Werte dargestellt ist, z. B. ein skalarer einheitsloser Wert der photometrischen Lichtintensität zwischen 0 (schwarz) und 1 (weiß) oder Werte für jedes von rot, grün und blau, z. B. jeweils auf einer 8-Bit-Skala (0 bis 255) oder einer 12- oder 16-Bit-Skala. Die Kamerapixel 120 können eine Mischung von Darstellungen sein, z. B. ein sich wiederholendes Muster von skalaren Intensitätswerten für drei Kamerapixel 120 und ein viertes Kamerapixel 120 mit drei numerischen Farbwerten oder ein anderes Muster. Die Position in einem Einzelbild 118, d. h. die Position in dem Sichtfeld der Kamera 112 zu dem Zeitpunkt, zu dem das Einzelbild 118 aufgezeichnet wurde, kann in Pixelabmessungen oder - koordinaten angegeben sein, z. B. ein geordnetes Paar von Pixelabständen, wie etwa eine Anzahl an Kamerapixeln 120 von einem oberen Rand und eine Anzahl an Kamerapixeln 120 von einem linken Rand des Einzelbilds 118.
Die Kameradaten können Daten zu dem optischen Fluss beinhalten. Der optische Fluss beschreibt eine Szenenverschiebung, d. h. Unterschiede der Pixelkoordinaten, die jeweiligen Punkten im Raum entsprechen, zwischen dem als Eingabe genommenen Einzelbild 118, das als ein erstes Einzelbild 118 bezeichnet wird, und einem zweiten Einzelbild 118. Das zweite Einzelbild 118 kann von einem anderen Zeitpunkt als das erste Einzelbild 118 in der Nähe stammen. Das zweite Einzelbild 118 kann von vor oder nach dem ersten Einzelbild 118 stammen. Zum Beispiel liefert der optische Fluss für ein Ziel, das in dem ersten und zweiten Einzelbild 118 beobachtet wird, eine Abbildung von den Pixelkoordinaten in dem früheren der zwei Einzelbilder 118 auf die Pixelkoordinaten in dem späteren der zwei Einzelbilder 118, z. B. Fluss((i₁, j₁))→(i₂, j₂). Der optische Fluss kann unter Verwendung bekannter Bildverarbeitungstechniken für den Szenenfluss für Bilder bestimmt werden.
Das Radar 114 kann die Radardaten erzeugen. Die Radardaten können eine Vielzahl von Radarpixeln 116 beinhalten. (Wenngleich in 3 nur ein beispielhaftes Radarpixel 116 mit einer Referenznummer gekennzeichnet ist, da es unpraktisch wäre, sie alle zu beschriften, sind alle Graustufenquadrate Radarpixel 116.) Die Radarpixel 116 können jeweilige Positionen in der Umgebung relativ zu der Position des Radars 114 angeben. Zum Beispiel können die Radardaten in Kugelkoordinaten vorliegen, wobei sich das Radar 114 am Ursprung des Kugelkoordinatensystems befindet. Die Kugelkoordinaten können Folgendes beinhalten: einen radialen Abstand, d. h. eine gemessene Tiefe von dem Radar 114 zu dem durch das Radar 114 gemessenen Punkt; einen Polarwinkel, d. h. einen Winkel von einer vertikalen Achse durch das Radar 114 zu dem durch das Radar 114 gemessenen Punkt; und einen Azimutwinkel, d. h. einen Winkel in einer horizontalen Ebene von einer horizontalen Achse durch das Radar 114 zu dem durch das Radar 114 gemessenen Punkt. Die horizontale Achse kann z. B. entlang einer Fahrzeugvorwärtsrichtung verlaufen. Alternativ kann das Radar 114 die Radarpixel 116 als kartesische Koordinaten mit dem Radar 114 am Ursprung oder als Koordinaten in einem beliebigen anderen geeigneten Koordinatensystem zurückgeben oder der Computer 102 kann nach dem Empfangen der Radardaten die Kugelkoordinaten in kartesische Koordinaten oder ein anderes Koordinatensystem umwandeln. Die Radarpixel 116 können zudem eine Radialgeschwindigkeit für jedes Radarpixel 116 beinhalten, d. h. eine Komponente der Geschwindigkeit des durch das Radar 114 gemessenen Punkts in Richtung des Radars 114 oder von diesem weg.
Die Radardaten können Einzelzeilendaten sein, d. h., die Radarpixel 116 können in einer horizontalen Abfolge angeordnet und nicht vertikal gestapelt sein. Selbst wenn die Radarpixel 116 in einer einzelnen Zeile angeordnet sind, können sich die Radarpixel 116 in unterschiedlichen Höhen oder Polarwinkeln befinden, wie in 3 zu sehen ist. (3 zeigt die Radarpixel 116, die sich über ein Zeitintervall angesammelt haben.) Die Radarpixel 116 sind typischerweise spärlicher als die Kamerapixel 120. Zum Beispiel können die Radarpixel 116 eine einzelne Zeile anstelle von mehreren Zeilen wie die Kamerapixel 120 sein und die Radarpixel 116 können horizontal spärlicher als die Kamerapixel 120 sein. 3 zeigt die Radarpixel 116, nachdem sie auf das Einzelbild 118 abgebildet wurden. Zum Beispiel kann der Computer 102 die Radarpixel 116 auf das Einzelbild 118 abbilden, indem er zuerst eine bekannte geometrische Transformation von dem Referenzrahmen des Radars 114 zu dem Referenzrahmen der Kamera 112 anwendet: $^{C} q =_{R}^{C} T^{R} q$
wobei q ein 4-Element-Vektor (x_q, y_q, z_q, 1) ist, der einen Punkt in der Umgebung darstellt, das linke hochgestellte C das Referenzeinzelbild der Kamera 112 angibt, das linke hochgestellte R das Referenzeinzelbild des Radars 114 darstellt und $_{R}^{C} T$
eine 4×4-Transformationsmatrix von dem Referenzrahmen R des Radars 114 zu dem Referenzrahmen C der Kamera 112 ist. Die Transformationsmatrix $_{R}^{C} T$
kann auf Grundlage der relativen Positionen der Kamera 112 und des Radars 114 im Voraus bekannt sein und ist in dem Computer 102 gespeichert. Der Vektor q kann in kartesischen Koordinaten dargestellt sein, wobei sich in Bezug auf die Richtung, in der die Kamera 112 oder das Radar 114 ausgerichtet ist, die X-Achse nach links erstreckt, die Y-Achse nach oben erstreckt und die Z-Achse nach vorne erstreckt, d. h., die Tiefe wird entlang der Z-Achse gemessen. Die ersten beiden Elemente des Vektors ^Cq, d. h. die vertikalen und lateralen Komponenten des Vektors ^Cq relativ zu der Richtung, in der die Kamera 112 ausgerichtet ist, können durch bekannte Konstanten verschoben und/oder skaliert werden, um zu den Pixelkoordinaten (i,j) des Radarpixels 116 zu gelangen. Die Konstanten für das Verschieben und/oder Skalieren können auf den physischen Eigenschaften der Kamera 112 basieren.
Unter erneuter Bezugnahme auf 2 kann das Abbilden der Radarpixel 116 auf das Einzelbild 118 unter Verwendung der Transformationsmatrix dazu führen, dass sich die Radarpixel 116 an Kamerapixeln 120 befinden, die anderen Punkten entsprechen als den durch die Radarpixel 116 detektierten Punkten. Zum Beispiel kann ein Radarpixel 116 einem Punkt entsprechen, der Kamerapixeln 120 mit einer anderen Stelle entsprechen als der auf die das Radarpixel 116 in dem Einzelbild 118 abgebildet ist. Als ein anderes Beispiel kann ein Radarpixel 116 einem Punkt entsprechen, der keinem der Kamerapixel 120 in dem Einzelbild 118 entspricht, z. B. wenn das Radarpixel 116 von einem Objekt stammt, das in dem Einzelbild 118 verdeckt ist. In dem Beispiel aus 2 kann das Radar 114 die in 2 gezeigten PunkteA und B an einem anderen Fahrzeug 124 detektieren. Die Radarpixel 116, die den Punkten A und B entsprechen, werden unter Verwendung der Transformationsmatrix auf Kamerapixel 120 abgebildet, die den Punkten A_p und B_p entsprechen. Die Punkte A und A_p sind beide für die Kamera 112 sichtbar, weisen jedoch unterschiedliche Pixelkoordinaten auf. Die Punkte B und B_p sind für die Kamera 112 nicht sichtbar, sind anders ausgedrückt verdeckt. Unter Bezugnahme auf 4 kann der Computer 102 nach dem Abbilden der Radarpixel 116 auf das Einzelbild 118 Regionen 122 des Einzelbilds 118 erzeugen, die die jeweiligen Radarpixel 116 umgeben, z. B. eine Region 122 für jedes Radarpixel 116. Jede Region 122 ist eine zusammenhängende Teilmenge des Einzelbilds 118. Jede Region 122 kann eine voreingestellte Position und eine voreingestellte Form relativ zu dem jeweiligen Radarpixel 116 aufweisen. Die voreingestellte Position der Region 122 kann das Radarpixel 116 innerhalb der Region 122 beinhalten, kann z. B. horizontal an dem Radarpixel 116 zentriert sein. Die voreingestellte Form relativ zu dem Radarpixel 116 kann eine größere Höhe als Breite aufweisen, was berücksichtigt, dass die Radardaten eine größere vertikale Spärlichkeit aufweisen, indem sie z. B. eine einzelne Zeile sind. Die voreingestellte Form kann sich um einen größeren Abstand vertikal nach oben als nach unten von dem jeweiligen Radarpixel 116 erstrecken, was berücksichtigt, dass sich Objekte von Interesse möglicherweise in einem größeren Abstand über einer Höhe des Radars 114 befinden als unter der Höhe des Radars 114, teilweise da sich die Objekte im Allgemeinen nicht unter dem Boden befinden können, auf dem das Fahrzeug 100 fährt. Zum Beispiel kann die voreingestellte Form ein hxw-Rechteck sein, wobei h ein vertikaler Abstand in Einheiten von Kamerapixeln 120 entlang des Einzelbilds 118 ist und w ein horizontaler Abstand in Einheiten von Kamerapixeln 120 entlang des Einzelbilds 118 ist, wobei h>w. In Bezug auf das jeweilige Radarpixel 116 kann sich die voreingestellte Form der Region 122 um einen Abstand w/2 nach links und nach rechts von dem Radarpixel 116 erstrecken und kann sich die voreingestellte Form um einen Abstand h_up oberhalb des Radarpixels 116 und einen Abstand h_down unterhalb des Radarpixels 116 erstrecken, wobei h_up + h_down = h und h_up>h_down.
Der Computer 102 kann eine Zuordnungsbewertung für jedes Kamerapixel 120 in einer gegebenen Region 122 bestimmen. Die Zuordnungsbewertungen geben eine Wahrscheinlichkeit an, dass das jeweilige Kamerapixel 120 einem gleichen Punkt in einer Umgebung entspricht wie das Radarpixel 116 für diese Region 122. Die Zuordnungsbewertung kann als eine Funktion A(i, j, k) dargestellt werden, wobei (i, j) die Pixelkoordinaten des Radarpixels 116 sind und k ein Index der Kamerapixel 120 in der Region 122 ist, die dieses Radarpixel 116 umgibt. Der Index k der Kamerapixel 120 kann einen Bereich [1, ... N] aufweisen, wobei N die Gesamtanzahl von Kamerapixeln 120 in einer Region 122 ist, z. B. N=hw für die rechteckige voreingestellte Form für die in 4 gezeigten Regionen 122. Wie nun beschrieben wird, beinhaltet das Bestimmen der Zuordnungsbewertungen Ausführen eines trainierten Netzes, z. B. eines neuronalen Netzes oder eines anderen Programms für maschinelles Lernen.
Das trainierte Netz nimmt Eingaben aus den Kameradaten und den Radardaten an. Die Eingaben in das trainierte Netz können die Radardaten, das Einzelbild 118 und den optischen Fluss des Einzelbilds 118 beinhalten, wie alle vorstehend beschriebenen. Das Einzelbild 118 und der optische Fluss können zu einem Zeitpunkt angenommen werden und die Radardaten können über ein Zeitintervall, das den Zeitpunkt beinhaltet, gesammelt werden. Das Zeitintervall kann so gewählt werden, dass es kurz ist, während es ausreichend Radardaten für das trainierte Netz bereitstellt, um genaue Ergebnisse zu erzielen, z. B. 0,3 Sekunden. Die Radardaten können unter Verwendung der Bewegung des Fahrzeugs 100 und/oder der Radialgeschwindigkeiten aus den Radardaten zu dem Zeitpunkt des Einzelbilds 118 transformiert werden, um die Bewegung des Fahrzeugs 100 und von Objekten in der Umgebung zu kompensieren. Die Sammlung der Radardaten über das Zeitintervall kann die relative Spärlichkeit der Radardaten im Vergleich zu den Kameradaten kompensieren.
Das trainierte Netz kann die Zuordnungsbewertungen A(i, j, k) ausgeben. Das Ausführen des trainierten Netz kann die Zuordnungsbewertungen A(i, j, k) für alle N Kamerapixel 120 in einer der Regionen 122 bestimmen. Die Zuordnungsbewertungen des k-ten Kamerapixels 120 in einer Region 122 geben eine Wahrscheinlichkeit an, dass das k-te Kamerapixel 120 einem gleichen Punkt in der Umgebung entspricht wie das Radarpixel 116 für diese Region 122. Je größer die Zuordnungsbewertung für das k-te Kamerapixel 120 ist, desto wahrscheinlicher ist es, dass das k-te Kamerapixel 120 das genaueste Kamerapixel 120 ist, das aus der Region 122 auszuwählen ist, um dem Radarpixel 116 für diese Region 122 zu entsprechen.
Die Kombination von Eingaben kann zum Erzeugen der Konfidenzbewertungen A(i, j, k) verwendet werden. Das Einzelbild 118 kann einen Szenenkontext für jedes Radarpixel 116 sowie Grenzinformationen für Objekte bereitstellen. Der optische Fluss kann zusätzliche Grenzinformationen bereitstellen. Die Radarpixel 116 können eine Tiefe zum Interpretieren des Kontexts des Einzelbilds 118 und eine Grundlage zum Vorhersagen der Tiefe von nahegelegenen Kamerapixeln 120 bereitstellen.
Das trainierte Netz kann eine beliebige geeignete Art von Netz zum Umwandeln der Eingaben in die ausgegebenen Zuordnungsbewertungen A(i, j, k) sein. Zum Beispiel kann das trainierte Netz ein neuronales Faltungsnetz sein, das zum Analysieren von visuellen Bildern gut geeignet ist. Ein neuronales Faltungsnetz beinhaltet eine Reihe von Schichten, wobei jede Schicht die vorherige Schicht als Eingabe verwendet. Jede Schicht enthält eine Vielzahl von Neuronen, die als Eingabe Daten empfangen, die durch eine Teilmenge der Neuronen der vorherigen Schichten generiert wurden, und eine Ausgabe generieren, die an Neuronen in der nächsten Schicht gesendet wird. Arten von Schichten beinhalten Faltungsschichten, die ein Punktprodukt aus einer Gewichtung und einer kleinen Region von Eingabedaten berechnen; Pooling-Schichten, die einen Downsampling-Vorgang entlang räumlicher Abmessungen durchführen; und vollständig verbundene Schichten, die auf Grundlage der Ausgabe aller Neuronen der vorherigen Schicht generiert werden. Die letzte Schicht des neuronalen Faltungsnetzes kann die Zuordnungsbewertungen A(i, j, k) für die Kamerapixel 120 in der Region 122 von Interesse ausgeben. Alternativ oder zusätzlich kann das trainierte Netz ein Codierer-Decodierer-Netz sein, z. B. mit Sprungverbindungen. Codierer-Decodierer-Netze mit Sprungverbindungen bringen typischerweise gute Leistung bei der Bildsegmentierung und sind somit gut geeignet, um die Kameradaten zu verwenden, um die Zuordnungsbewertungen A(i, j, k) bestimmten Kamerapixeln 120 zuzuweisen.
Das trainierte Netz kann an einem Trainingssatz trainiert werden, der Kameradaten, Radardaten und Ground-Truth-Vollgeschwindigkeiten beinhaltet, die den Kameradaten und Radardaten entsprechen. Zum Beispiel kann der Trainingssatz LIDAR-Daten beinhalten, die mit den Kameradaten und Radardaten gepaart sind, und die LIDAR-Daten können als Ground Truth verwendet werden. Die LIDAR-Daten können über ein kurzes Zeitintervall gesammelt werden, um die Dichte der von den LIDAR-Daten zurückgegebenen Tiefen zu erhöhen, was zu einem genaueren trainierten Netz führen kann. Die LIDAR-Daten können auch auf andere Weise verarbeitet werden, um den Trainingssatz zu bilden, wie etwa unter Verwendung des Szenenflusses von LIDAR-Punkten, semantischer Segmentierung und/oder 3D-Begrenzungsrahmen, um LIDAR-Punkte zu entfernen, die in den Kameradaten in dem Trainingssatz verdeckt sind. Diese Arten der Verarbeitung können die LIDAR-Daten genauer machen. Die Ground-Truth-Vollgeschwindigkeiten können unter Verwendung der Begrenzungsrahmen bestimmt werden, z. B. durch Vergleichen von Positionen von Begrenzungsrahmen derselben Instanz in benachbarten Zeiten. Ein Begrenzungsrahmen kann auf Grundlage eines Abstands zwischen dem Begrenzungsrahmen und dem Radarpixel 116 und/oder eines Fehlers zwischen der Radialgeschwindigkeit des Radarpixels 116 und der Radialkomponente der Vollgeschwindigkeit des Begrenzungsrahmens einem Radarpixel 116 zugewiesen werden.
Das trainierte Netz kann an dem Trainingssatz trainiert werden, indem ein Fehler zwischen einer Ground-Truth-Geschwindigkeit ^Aṁ_GT(i,j) des Radarpixels 116 und projizierten Vollgeschwindigkeiten ^Aṁ_est(i,j,k) des Radarpixels 116 unter Verwendung der Kamerapixel 120 in der Region 122 minimiert wird, wobei das linke hochgestellte A den Referenzrahmen der Kamera 112 angibt, ̇ṁ die Vollgeschwindigkeit des durch das Radar 114 detektierten Punkts ist, der dem Radarpixel 116 entspricht, das tiefgestellte GT die Ground Truth angibt, das tiefgestellte est angibt, dass die Vollgeschwindigkeit projiziert, d. h. geschätzt oder vorhergesagt, ist, (i,j) die Pixelkoordinaten des Radarpixels 116 gemäß der vorstehend beschriebenen Abbildung auf das Einzelbild 118 sind und k der Index der Kamerapixel 120 in der Region 122 ist, die das Radarpixel 116 umgibt. Die projizierten Vollgeschwindigkeiten ^Aṁ_est(i,j,k) können unter Verwendung der nachstehend beschriebenen geschlossenen Lösung zum Berechnen der Vollgeschwindigkeiten bestimmt werden, die auf jedes Kamerapixel 120 in der Region 122 angewendet wird. Jede projizierte Vollgeschwindigkeit kann unter Verwendung der Radialgeschwindigkeit ṙ des Radarpixels 116 und eines jeweiligen optischen Flusses an dem jeweiligen Kamerapixel 120 auf die nachstehend beschriebene Weise berechnet werden. Der Fehler zwischen der Ground-Truth-Geschwindigkeit ^Aṁ_GT(i,j) des Radarpixels 116 und den projizierten vollen Geschwindigkeiten ^Aṁ_est(i,j,k) kann eine L₂-Norm von Fehlern sein: $E_{v} (i, j, k) = ‖^{A} {\dot{m}}_{e s t} (i, j, k) -^{A} {\dot{m}}_{G T} (i, j) ‖$
Um den Fehler zu minimieren, kann die L₂-Norm in eine Bezeichnung transformiert werden, die eine Zuordnungswahrscheinlichkeit angibt: $L (i, j, k) = e^{- \frac{- E_{v}^{2} (i, j, k)}{c}}$
wobei c ein Parameter ist, der die Toleranz von Geschwindigkeitsfehlern beim Umwandeln von Fehlern in Zuordnungen einstellt. Der Parameter c kann gewählt werden, um die Auswirkung von Artefakten beim Trainieren des trainierten Netzes zu minimieren. Die Verlustfunktion zum Minimieren des Fehlers kann der gewichtete binäre Kreuzentropieverlust zwischen den Bezeichnungen L(i, j, k) und der Netzausgabe A(i, j, k) sein: $L_{C E} = \sum_{i, j, k} [- L (i, j, k) A (i, j, k) + log (1 + e^{A (i, j, k)})]$
Nach der Verwendung des trainierten Netzes zum Bestimmen der Zuordnungsbewertungen A(i,j, k) für die Kamerapixel 120 in der Region 122 eines gegebenen Radarpixels 116 kann der Computer 102 ein erstes Kamerapixel 120 der Kamerapixel 120 aus der Region 122 auswählen. Das erste Kamerapixel 120 weist eine größte Zuordnungsbewertung A_max(i,j, k) der Zuordnungsbewertungen A(i,j,k) auf: $k_{m a x} = \underset{k}{argmax} (A (i, j, k))$
wobei k_max der Index des ersten Kamerapixels 120 ist und argmax() eine Funktion ist, die das Argument einer Funktion zurückgibt, die die Funktion maximiert. Das erste Kamerapixel 120, d. h. das Kamerapixel 120 mit dem Index k_max, befindet sich an einer aktualisierten Stelle (i_kmax, j_kmax) in dem Einzelbild 118 von der Stelle (i, j), auf die das Radarpixel 116 in dem Einzelbild 118 abgebildet wurde, wie vorstehend beschrieben. Es ist wahrscheinlich, das sich die aktualisierte Stelle (i_kmax,j_kmax) von der abgebildeten Stelle (i, j) unterscheidet, wie für das Beispiel aus 2 beschrieben. Die Zuordnungsbewertungen A(i, j, k) aus dem trainierten Netz können somit genauere Pixelkoordinaten bereitstellen, an denen die Vollgeschwindigkeit zu berechnen ist, als die Verwendung der abgebildeten Stelle (i, j).
Der Computer 102 kann nur erste Kamerapixel 120 k_max mit Zuordnungsbewertungen A_max(i,j, k) verwenden, die größer als eine Schwellenzuordnungsbewertung A_th sind. Die Schwellenzuordnungsbewertung A_th kann gewählt werden, um eine Verdeckung anzugeben, d. h., dass das Radarpixel 116 einem Punkt entspricht, der für die Kamera 112 nicht sichtbar ist. Wenn die größte Zuordnungsbewertung A_max(i, j, k) unter der Schwellenzuordnungsbewertung liegt, d. h. A_max(i, j, k) < A_th, kann der Computer 102 das Berechnen der Vollgeschwindigkeit des Radarpixels 116 unterlassen. Anders ausgedrückt kann der Computer 102 nur die Vollgeschwindigkeiten für die Radarpixel 116 bestimmen, bei denen es unwahrscheinlich ist, dass sie verdeckt sind.
Unter Bezugnahme auf 5 wird nun die Berechnung der Vollgeschwindigkeit unter Verwendung des ersten Kamerapixels 120 beschrieben. 5 stellt die Notation zum Berechnen der Vollgeschwindigkeit eines Punkts dar. Der Referenzrahmen A ist die Position der Kamera 112 im Raum zu einem Zeitpunkt t, für den die Berechnung durchgeführt wird.
Der Referenzrahmen B ist die Position der Kamera 112 im Raum zu einem früheren Zeitpunkt t-Δt (oder einem späteren Zeitpunkt, wenn Δt negativ ist). Der Referenzrahmen R ist die Position des Radars 114 im Raum zum Zeitpunkt t. Der Punkt q ist der Punkt von Interesse im Raum, der durch das Radar 114 an dem Radarpixel 116 von Interesse zum Zeitpunkt t detektiert wird. Der Punkt p ist der gleiche Punkt im Raum zu dem früheren Zeitpunkt t-Δt, bevor sich ein Objekt, das den Punkt enthält, während des Zeitintervalls Δt bewegt hat. Der Abstandsvektor cΔt ist die Änderung der Position der Kamera 112 von dem Referenzrahmen A zu dem Referenzrahmen B über das Zeitintervall Δt und der Abstandsvektor ṁΔt ist die Änderung der Position des Punkts von p zu q über das Zeitintervall Δt. Der Geschwindigkeitsvektor c ist die Geschwindigkeit der Kamera 112 zum Zeitpunkt t. Der Geschwindigkeitsvektor ̇ṁ ist die Vollgeschwindigkeit des Punkts zum Zeitpunkt t. Der radiale Abstandsvektor ṙΔt ist die Komponente des Abstandsvektors ṁΔt entlang der Richtung von dem Radar 114 zu dem Punkt zum Zeitpunkt t und der radiale Geschwindigkeitsvektor ṙ ist die Komponente des Geschwindigkeitsvektors ṁ entlang der Richtung von dem Radar 114 zu dem Punkt zum Zeitpunkt t. Die 4×4-Transformationsmatrix $_{A}^{B} T$
ist eine Umwandlung einer Position von dem Referenzrahmen B in den Referenzrahmen A. Die 3 x3-Rotationsmatrix $_{A}^{B} R$
ist eine Rotation einer Geschwindigkeit von dem Referenzrahmen B in den Referenzrahmen A. Die 3×3-Rotationsmatrix $_{R}^{A} R$
ist eine Rotation einer Geschwindigkeit von dem Referenzrahmen A in den Referenzrahmen R.
Hier sind die bekannten Werte, die in der Berechnung verwendet werden. Die Pixelkoordinaten in dem Einzelbild 118 für den Punkt ^Aq in dem Referenzrahmen A sind die Pixelkoordinaten (i_kmax, j_kmax) des vorstehend ausgewählten ersten Kamerapixels 120, d. h. die aktualisierte Position für das Radarpixel 116, die im Folgenden als (u_q, v_q) dargestellt wird. Die Pixelkoordinaten (u_p, v_p) in dem Einzelbild 118 für den Punkt B_p in dem Referenzrahmen B können aus einem ersten optischen Fluss bekannt sein, bei dem es sich um den optischen Fluss handelt, der an dem ersten Kamerapixel 120 (u_q, v_q) gemessen wurde. Die räumlichen Vektoren für^Aq und B_p können in Einheitsbrennebenenkoordinaten als (u_qd_q, v_qd_q, d_q, 1)^T und (u_pd_p, v_pd_p, d_p, 1)^T bzw. dargestellt werden. Die Tiefe d_q ist als die Tiefe für das Radarpixel 116 aus den Radardaten bekannt und die Tiefe d_p ist nicht im Voraus bekannt. Die Transformationsmatrix $_{A}^{B} T$
und die Rotationsmatrix $_{A}^{B} R$
können auf Grundlage der Bewegung des Fahrzeugs 100 von dem früheren Zeitpunkt t-Δt bis zum Zeitpunkt t bekannt sein. Die Transformationsmatrix $_{R}^{A} T$
und die Rotationsmatrix $_{R}^{A} R$
können auf Grundlage der relativen Positionen und Ausrichtungen der Kamera 112 und des Radars 114 im Voraus bekannt sein und in dem Computer 102 gespeichert sein.
Der Computer 102 berechnet die Vollgeschwindigkeit des Radarpixels 116, indem er eine geschlossene Berechnung durchführt. Eine „geschlossene“ Berechnung ist eine, die in einer endlichen Anzahl von Schritten unter Verwendung einer endlichen Anzahl von Standardoperationen endet, wobei Grenzen, Differenzierung, Integration und numerische Näherung ausgeschlossen sind. Die geschlossene Berechnung kann aus dieser Beziehung abgeleitet werden: $^{B} p_{1 : 3} =^{B} q_{1 : 3} -_{A}^{B} R^{A} \dot{m} Δ t$
wobei ^Aṁ, die Vollgeschwindigkeit im Referenzrahmen A ist und die tiefgestellten Angaben 1:3 die ersten drei Elemente des Vektors angeben, z. B. ^Bp_1:3 = (u_pd_p, v_pd_p, dP)^T _. Um zu der geschlossenen Berechnung zu gelangen, kann die vorstehende Beziehung umgeordnet werden, indem die dritte Zeile verwendet wird, um die unbekannte Tiefe d_p in den ersten zwei Zeilen zu ersetzen, und eine neue dritte Zeile auf Grundlage der Beziehung ṙ = r̂^Tṁhinzugefügt wird, wobei r̂ der Einheitsnormvektor entlang der Richtung von ^Rq ist, d. h. entlang der Richtung von dem Radar 114 zu dem Punkt zum Zeitpunkt t. Die Radialgeschwindigkeit ṙ kann um die Eigenbewegung korrigiert werden, d. h. um die Bewegung des Fahrzeugs 100 und somit des Radars 114. Dies ist die resultierende Berechnung für die Vollgeschwindigkeit: $^{A} \dot{m} = {[\begin{matrix} _{A}^{B} R_{1} - u_{p}_{A}^{B} R_{3} \\ _{A}^{B} R_{2} - v_{p}_{A}^{B} R_{3} \\ ^{A} {\hat{r}}^{T} \end{matrix}]}^{- 1} [\begin{matrix} (^{B} q_{1} - u_{p}^{B} q_{3}) / Δ t \\ (^{B} q_{2} - v_{p}^{B} q_{3}) / Δ t \\ \dot{r} \end{matrix}]$
wobei die tiefgestellten Angaben 1, 2 und 3 die erste, zweite bzw. dritte Zeile einer Matrix oder eines Vektors angeben. Die gezeigte Lösung ist eine Umkehrung einer 3 x3-Matrix multipliziert mit einem 3 × 1-Vektor, was einen 3 × 1-Vektor für die Vollgeschwindigkeit ^Aṁ, ergibt. Die Werte in den ersten zwei Zeilen der Matrizen können aus dem Einzelbild 118 und aus dem optischen Fluss bekannt sein und die dritte Zeile kann aus der Radialgeschwindigkeit bekannt sein. Die Lösung könnte stattdessen unter Verwendung einer unkorrigierten Radialgeschwindigkeit ṙ_raw = r̂^T (ṁ - ċ) anstelle der korrigierten Radialgeschwindigkeit ṙ formuliert werden. Die Lösung kann eine einfache Berechnung für die Vollgeschwindigkeit nur unter Verwendung der Radardaten und der Kameradaten bereitstellen.
6 ist ein Prozessablaufdiagramm, das einen beispielhaften Prozesses 600 zum Bestimmen der Vollgeschwindigkeiten der Radarpixel 116 und Betreiben des Fahrzeugs 100 auf Grundlage der Radardaten und der Kameradaten veranschaulicht. Der Speicher des Computers 102 speichert ausführbare Anweisungen zum Durchführen der Schritte des Prozesses 600 und/oder eine Programmierung kann in Strukturen, wie vorstehend erwähnt, umgesetzt sein. Der Computer 102 kann den Prozess 600 kontinuierlich ausführen, während das Fahrzeug 100 eingeschaltet ist, z. B. einmal für jedes Radarpixel 116 bei jedem Zeitschritt. Als allgemeine Übersicht über den Prozess 600 empfängt der Computer 102 die Kameradaten und die Radardaten, bildet das Radarpixel 116 auf das Einzelbild 118 ab, erzeugt die Region 122, die das Radarpixel 116 in dem Einzelbild 118 umgibt, bestimmt die Zuordnungsbewertungen A(i, j, k) der Kamerapixel 120 in der Region 122 und bestimmt, ob die größte Zuordnungsbewertung A_max(i, j, k) größer als die Schwellenzuordnungsbewertung A_th ist. Wenn die größte Zuordnungsbewertung A_max(i, j, k) unter der Schwellenzuordnungsbewertung A_th liegt, unterlässt der Computer 102 das Berechnen der Vollgeschwindigkeit ^Aṁ, für diese Region 122. Wenn die größte Zuordnungsbewertung A_max(i, j, k) über der Schwellenzuordnungsbewertung A_th liegt, wählt der Computer 102 das erste Kamerapixel 120 aus, berechnet die Vollgeschwindigkeit ^Aṁ, des Radarpixels 116 und betreibt das Fahrzeug 100 auf Grundlage der Vollgeschwindigkeit ^Aṁ.
Der Prozess 600 beginnt in einem Block 605, in dem der Computer 102 die Kameradaten von der Kamera 112 und die Radardaten von dem Radar 114 empfängt. Die Radardaten können die Radarpixel 116 beinhalten, die gemessene Tiefen und die Radialgeschwindigkeiten aufweisen, wie vorstehend beschrieben. Die Kameradaten können das Einzelbild 118 beinhalten, das die Kamerapixel 120 beinhaltet, wie vorstehend beschrieben.
Als Nächstes bildet der Computer 102 in einem Block 610 das Radarpixel 116 auf das Einzelbild 118 ab, z. B. unter Verwendung der Transformationsmatrix $_{R}^{C} T,$
wie vorstehend beschrieben.
Als Nächstes erzeugt der Computer 102 in einem Block 615 die Regionen 122 des Einzelbilds 118, die die jeweiligen Radarpixel 116 umgeben, wie vorstehend beschrieben und in 4 gezeigt.
Als Nächstes bestimmt der Computer 102 in einem Block 620 die Zuordnungsbewertungen A(i, j, k) für die Kamerapixel 120 in den Regionen 122 durch Ausführen des trainierten Netzes, wie vorstehend beschrieben.
Als Nächstes bestimmt der Computer 102 in einem Entscheidungsblock 625, ob die größte Zuordnungsbewertung A_max(i, j, k) der Zuordnungsbewertungen A(i, j, k) größer als die Schwellenzuordnungsbewertung A_th ist. Wenn die größte Zuordnungsbewertung A_max(i, j, k) unter der Schwellenzuordnungsbewertung A_th liegt, geht der Prozess 600 zu einem Block 630 über. Wenn die größte Zuordnungsbewertung A_max(i, j, k) über der Schwellenzuordnungsbewertung A_th liegt, geht der Prozess 600 zu einem Block 635 über.
In dem Block 630 unterlässt der Computer 102 das Berechnen der Vollgeschwindigkeit ^Aṁ des Radarpixels 116. Nach dem Block 630 endet der Prozess 600.
In dem Block 635 wählt der Computer 102 das erste Kamerapixel 120 aus, d. h. das Kamerapixel 120, das die größte Zuordnungsbewertung A_max(i, j, k) der Zuordnungsbewertungen A(i, j, k) aufweist.
Als Nächstes berechnet der Computer 102 in einem Block 640 die Vollgeschwindigkeit ^Aṁ des Radarpixels 116 unter Verwendung der Radialgeschwindigkeit des Radarpixels 116 und des ersten optischen Flusses an dem ersten Kamerapixel 120 unter Verwendung der vorstehend beschriebenen geschlossenen Berechnung.
Als Nächstes betreibt der Computer 102 in einem Block 645 das Fahrzeug 100 auf Grundlage der Vollgeschwindigkeit ^Aṁ (zusammen mit den anderen Vollgeschwindigkeiten ^Aṁ, die durch kontinuierliches Ausführen des Prozesses 600 bestimmt werden). Zum Beispiel kann der Computer 102 mindestens eines von dem Antrieb 106, dem Bremssystem 108 oder dem Lenksystem 110 betätigen. Zum Beispiel kann der Computer 102 das Bremssystem 108 auf Grundlage der Vollgeschwindigkeit ^Aṁ, als Teil eines automatischen Bremsmerkmals betätigen, z. B. Bremsen, um zu verhindern, dass das Fahrzeug 100 ein Objekt in der Umgebung berührt, das sich vor dem Fahrzeug 100 bewegt. Als ein anderes Beispiel kann der Computer 102 das Fahrzeug 100 autonom betreiben, d. h. den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 auf Grundlage der Vollgeschwindigkeit ^Aṁ betätigen, um z. B. das Fahrzeug 100 um sich bewegende Objekte in der Umgebung herum zu navigieren. Nach dem Block 645 endet der Prozess 600.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder der QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten unter anderem einen bordeigenen Fahrzeugcomputer, einen Arbeitsplatzcomputer, einen Server, einen Desktop-, Notebook-, Laptop- oder Handheld-Computer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder interpretiert werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem und entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Python, Perl, HTMI, usw. Einige dieser Anwendungen können auf einer virtuellen Maschine kompiliert und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung einer Vielfalt von computerlesbaren Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert sind.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht transitorisches (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien und flüchtiger Medien. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Glasfasern, Drähten, drahtloser Kommunikation, einschließlich der Einbauten, die einen an einen Prozessor eines Computers gekoppelten Systembus umfassen. Übliche Formen computerlesbarer Medien beinhalten zum Beispiel RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, von dem ein Computer lesen kann.
Datenbanken, Datenbestände oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedene(n) Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Satzes von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, eines relationalen Datenbankverwaltungssystems (relational database management system - RDBMS), einer nicht relationalen Datenbank (NoSQL), einer Graphdatenbank (GDB) usw. Jeder derartige Datenspeicher ist im Allgemeinen innerhalb einer Rechenvorrichtung enthalten, die ein Computerbetriebssystem, wie etwa eines der vorangehend aufgeführten, verwendet, und es wird auf eine oder mehrere von einer Vielfalt von Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Erzeugen, Speichern, Editieren und Ausführen gespeicherter Prozeduren ein, wie etwa die vorangehend erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf diesen zugeordneten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
In den Zeichnungen geben gleiche Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente verändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält. Die Verwendung von „als Reaktion auf“ und „wenn bestimmt wurde“ gibt eine kausale Beziehung an, nicht nur eine rein temporale Beziehung. Die Adjektive „erstes“ und „zweites“ werden in der gesamten Schrift als Kennungen verwendet und sollen keine Bedeutung, Reihenfolge oder Menge andeuten.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und kann die Offenbarung anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, der Anweisungen speichert, die durch den Prozessor zu Folgendem ausführbar sind: Empfangen von Radardaten von einem Radar, wobei die Radardaten ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden des Radarpixels auf das Einzelbild; Erzeugen einer Region des Einzelbilds, die das Radarpixel umgibt; Bestimmen von Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region, wobei die Zuordnungsbewertungen eine Wahrscheinlichkeit angeben, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel; Auswählen eines ersten Kamerapixels der Kamerapixel aus der Region, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und Berechnen einer Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um ein Fahrzeug, das das Radar und die Kamera beinhaltet, auf Grundlage der Vollgeschwindigkeit zu betrieben.
Gemäß einer Ausführungsform beinhaltet das Abbilden des Radarpixels auf das Einzelbild Anwenden einer geometrischen Transformation auf das Radarpixel.
Gemäß einer Ausführungsform beinhaltet das Bestimmen der Zuordnungsbewertungen Ausführen eines trainierten Netzes.
Gemäß einer Ausführungsform beinhalten Eingaben in das trainierte Netz die Radardaten, das Einzelbild und den optischen Fluss des Einzelbilds.
Gemäß einer Ausführungsform werden die Radardaten über ein Zeitintervall gesammelt.
Gemäß einer Ausführungsform ist das trainierte Netz ein neuronales Faltungsnetz.
Gemäß einer Ausführungsform ist das trainierte Netz ein Codierer-Decodierer-Netz.
Gemäß einer Ausführungsform wird das trainierte Netz durch Minimieren eines Fehlers zwischen einer Ground-Truth-Geschwindigkeit des Radarpixels und projizierten Vollgeschwindigkeiten des Radarpixels unter Verwendung der jeweiligen Kamerapixel trainiert.
Gemäß einer Ausführungsform wird jede projizierte Vollgeschwindigkeit unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines jeweiligen optischen Flusses an dem jeweiligen Kamerapixel berechnet.
Gemäß einer Ausführungsform ist das Einzelbild ein erstes Einzelbild, beinhalten die Kameradaten ein zweites Einzelbild und stellt der erste optische Fluss ein Verschieben zwischen dem ersten Einzelbild an dem ersten Kamerapixel und dem zweiten Einzelbild dar. Gemäß einer Ausführungsform weist die Region eine voreingestellte Position in dem Einzelbild relativ zu dem Radarpixel auf.
Gemäß einer Ausführungsform ist die Region eine voreingestellte Form in dem Einzelbild und weist die voreingestellte Form eine größere Höhe als Breite auf.
Gemäß einer Ausführungsform ist die Region eine voreingestellte Form in dem Einzelbild und erstreckt sich die voreingestellte Form von dem Radarpixel um einen größeren Abstand vertikal nach oben als nach unten.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen, um das Berechnen der Vollgeschwindigkeit des Radarpixels zu unterlassen, wenn die größte Zuordnungsbewertung unter einer Schwellenzuordnungsbewertung liegt.
Gemäß einer Ausführungsform ist das Berechnen der Vollgeschwindigkeit des Radarpixels Durchführen einer geschlossenen Berechnung.
Gemäß einer Ausführungsform wird die Vollgeschwindigkeit des Radarpixels nur unter Verwendung der Radardaten und der Kameradaten berechnet.
Gemäß einer Ausführungsform befindet sich das erste Kamerapixel an einer aktualisierten Stelle in dem Einzelbild von einer Stelle, auf die das Radarpixel in dem Einzelbild abgebildet wurde.
Gemäß einer Ausführungsform sind die Radardaten Einzelzeilendaten und sind die Radardaten horizontal spärlicher als die Kameradaten.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Empfangen von Radardaten von einem Radar, wobei die Radardaten ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden des Radarpixels auf das Einzelbild; Erzeugen einer Region des Einzelbilds, die das Radarpixel umgibt; Bestimmen von Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region, wobei die Zuordnungsbewertungen eine Wahrscheinlichkeit angeben, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel; Auswählen eines ersten Kamerapixels der Kamerapixel aus der Region, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und Berechnen einer Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel.

Claims

Verfahren, umfassend: Empfangen von Radardaten von einem Radar, wobei die Radardaten ein Radarpixel beinhalten, das eine Radialgeschwindigkeit aufweist; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden des Radarpixels auf das Einzelbild; Erzeugen einer Region des Einzelbilds, die das Radarpixel umgibt; Bestimmen von Zuordnungsbewertungen für die jeweiligen Kamerapixel in der Region, wobei die Zuordnungsbewertungen eine Wahrscheinlichkeit angeben, dass die jeweiligen Kamerapixel einem gleichen Punkt in einer Umgebung entsprechen wie das Radarpixel; Auswählen eines ersten Kamerapixels der Kamerapixel aus der Region, wobei das erste Kamerapixel eine größte Zuordnungsbewertung der Zuordnungsbewertungen aufweist; und Berechnen einer Vollgeschwindigkeit des Radarpixels unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines ersten optischen Flusses an dem ersten Kamerapixel.
Verfahren nach Anspruch 1, ferner umfassend Betreiben eines Fahrzeugs, das das Radar und die Kamera beinhaltet, auf Grundlage der Vollgeschwindigkeit.
Verfahren nach Anspruch 1, wobei das Abbilden des Radarpixels auf das Einzelbild Anwenden einer geometrischen Transformation auf das Radarpixel beinhaltet.
Verfahren nach Anspruch 1, wobei das Bestimmen der Zuordnungsbewertungen Ausführen eines trainierten Netzes beinhaltet.
Verfahren nach Anspruch 4, wobei Eingaben in das trainierte Netz die Radardaten, das Einzelbild und den optischen Fluss des Einzelbilds beinhalten.
Verfahren nach Anspruch 5, wobei die Radardaten über ein Zeitintervall gesammelt werden.
Verfahren nach Anspruch 4, wobei das trainierte Netz durch Minimieren eines Fehlers zwischen einer Ground-Truth-Geschwindigkeit des Radarpixels und projizierten Vollgeschwindigkeiten des Radarpixels unter Verwendung der jeweiligen Kamerapixel trainiert wird.
Verfahren nach Anspruch 7, wobei jede projizierte Vollgeschwindigkeit unter Verwendung der Radialgeschwindigkeit des Radarpixels und eines jeweiligen optischen Flusses an dem jeweiligen Kamerapixel berechnet wird.
Verfahren nach Anspruch 1, wobei das Einzelbild ein erstes Einzelbild ist, die Kameradaten ein zweites Einzelbild beinhalten und der erste optische Fluss ein Verschieben zwischen dem ersten Einzelbild an dem ersten Kamerapixel und dem zweiten Einzelbild darstellt.
Verfahren nach Anspruch 1, wobei die Region eine voreingestellte Position in dem Einzelbild relativ zu dem Radarpixel aufweist und die Region eine voreingestellte Form in dem Einzelbild aufweist.
Verfahren nach Anspruch 1, ferner umfassend Unterlassen des Berechnens der Vollgeschwindigkeit des Radarpixels, wenn die größte Zuordnungsbewertung unter einer Schwellenzuordnungsbewertung liegt.
Verfahren nach Anspruch 1, wobei das Berechnen der Vollgeschwindigkeit des Radarpixels Durchführen einer geschlossenen Berechnung ist.
Verfahren nach Anspruch 1, wobei die Vollgeschwindigkeit des Radarpixels nur unter Verwendung der Radardaten und der Kameradaten berechnet wird.
Verfahren nach Anspruch 1, wobei sich das erste Kamerapixel an einer aktualisierten Stelle in dem Einzelbild von einer Stelle, auf die das Radarpixel in dem Einzelbild abgebildet wurde, befindet.
Computer, umfassend einen Prozessor und einen Speicher, der durch den Prozessor ausführbare Anweisungen speichert, um das Verfahren nach einem der Ansprüche 1-14 durchzuführen.