DE102022114199A1

DE102022114199A1 - Tiefenkartengenerierung

Info

Publication number: DE102022114199A1
Application number: DE102022114199.3A
Authority: DE
Inventors: Yunfei Long; Daniel Morris; Xiaoming Liu; Marcos Pau Gerardo Castro; Praveen Narayanan; Punarjay Chakravarty
Original assignee: Ford Global Technologies LLC; Michigan State University MSU
Current assignee: Ford Global Technologies LLC; Michigan State University MSU
Priority date: 2021-06-03
Filing date: 2022-06-03
Publication date: 2022-12-08
Also published as: CN115436934A; US20220390591A1

Abstract

Ein Computer beinhaltet einen Prozessor und einen Speicher, in dem Anweisungen gespeichert sind, die durch den Prozessor zu Folgendem ausführbar sind: Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel für jede Region in dieser Region; Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte; und Betreiben eines Fahrzeugs, das das Radar und die Kamera beinhaltet, auf Grundlage der Tiefekarte. Die Konfidenzbewertungen geben die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel an.

Description

ALLGEMEINER STAND DER TECHNIK
Fahrzeuge sind typischerweise mit einer oder mehreren Kameras und einem oder mehreren Radaren ausgestattet. Kameras können elektromagnetische Strahlung in einem gewissen Bereich von Wellenlängen detektieren. Zum Beispiel können Kameras sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder einen gewissen Bereich von Wellenlängen detektieren, darunter sichtbares, infrarotes und/oder ultraviolettes Licht. Radare übertragen Funkwellen und empfangen Reflexionen dieser Funkwellen, um physische Objekte in der Umgebung zu detektieren. Radare können die direkte Ausbreitung, d. h. das Messen von Zeitverzögerungen zwischen der Übertragung und dem Empfang von Funkwellen, oder die indirekte Ausbreitung, d. h. ein frequenzmoduliertes Dauerstrich(frequency modulated continuous wave - FMCW)-Verfahren, verwenden, d. h. das Messen von Änderungen der Frequenz zwischen gesendeten und empfangenen Funkwellen.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Fahrzeugs mit einem Radar und einer Kamera.
2 ist eine schematische Seitenansicht des Fahrzeugs und eines beispielhaften Objekts, das durch das Radar und die Kamera detektiert wird.
3 ist ein beispielhaftes Einzelbild von der Kamera mit Radarpixeln von dem Radar, die auf das Einzelbild abgebildet sind.
4 ist eine Darstellung von beispielhaften Regionen, die die Radarpixel in dem Einzelbild umgeben, und einer Vielzahl von beispielhaften Tiefenbildern, die über das Einzelbild gelegt sind.
5 ist eine beispielhafte Tiefenkarte.
6 ist ein Prozessablaufdiagramm eines beispielhaften Prozesses zum Generieren der Tiefenkarte und zum Betreiben des Fahrzeugs auf Grundlage von Daten von der Kamera und dem Radar.

DETAILLIERTE BESCHREIBUNG
Die hierin beschriebenen Systeme und Verfahren beinhalten die Generierung einer dichten Tiefenkarte unter Verwendung von Daten von einer Kamera und einem Radar an Bord eines Fahrzeugs. Für die Zwecke dieses Dokuments ist eine „Tiefenkarte“ als ein Bild definiert, d. h. ein Satz von Bilddaten, der Informationen bezüglich der Entfernung von Flächen von Szenenobjekten von einem Blickpunkt enthält, typischerweise durch Angeben von Entfernungen von Flächen, die durch Pixel dargestellt sind, von dem Blickpunkt. Das Fahrzeug kann die Tiefenkarte zum autonomen oder halbautonomen Betrieb verwenden.
Das System kombiniert Daten von der Kamera und dem Radar, um dichte Daten zu generieren, d. h. Daten, die eher mehr als weniger Punkte darstellen, die einen Bereich oder ein Volumen der realen Welt darstellen, zu Entfernungen zu Objekten in der Szene, z. B. bei einer Dichte der Kamerapixel. Das Radar erzeugt im Allgemeinen Radardaten, die erheblich spärlicher sind als Kameradaten von der Kamera, d. h., Radarpixel, die Entfernungen von Objekten beinhalten, sind weiter voneinander entfernt als Kamerapixel, die in einem Einzelbild von der Kamera beinhaltet sind. Die Kamera erkennt Entfernungen zu Objekten in der Szene nicht direkt. Das System hierin verwendet jedoch die Daten von der Kamera und dem Radar, um die Tiefenkarte mit einer wesentlich höheren Dichte von Entfernungsdaten als die Radardaten zu erzeugen. Darüber hinaus weist die Tiefenkarte eine hohe Genauigkeit auf. Vorteilhafterweise kann die Tiefenkarte ohne Verwendung eines LIDAR erzeugt werden, das typischerweise Entfernungsdaten zu einer Szene mit einer höheren Dichte detektiert als das Radar allein, wobei es erhebliche zusätzliche Architektur- und Verarbeitungsanforderungen stellt.
Ein Computer beinhaltet einen Prozessor und einen Speicher, in dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind zum Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhaltet, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel für jede Region in dieser Region; und Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte. Die Konfidenzwerte geben die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel an.
Die Anweisungen können ferner Anweisungen zum Betreiben eines Fahrzeugs, das das Radar und die Kamera beinhaltet, auf Grundlage der Tiefenkarte beinhalten.
Die Anweisungen können ferner Anweisungen zum Generieren einer Vielzahl von Tiefenbildern beinhalten, die jeweiligen Konfidenzschwellenwerten entsprechen, wobei jedes Tiefenbild Tiefen für die Kamerapixel angibt, die Konfidenzwerte über dem Konfidenzschwellenwert dieses Tiefenbilds aufweisen. Das Ausgeben der Tiefenkarte kann auf den Tiefenbildern basieren. Das Ausgeben der Tiefenkarte kann das Ausführen eines trainierten Netzes beinhalten und Eingaben in das trainierte Netz können die Radarpixel, das Einzelbild und die Tiefenbilder beinhalten.
Die Konfidenzschwellenwerte können voreingestellt und voneinander verschieden sein. Eine Anzahl der Vielzahl von Tiefenbildern kann voreingestellt sein.
Das Bestimmen der Konfidenzwerte kann das Ausführen eines trainierten Netzes beinhalten. Eingaben in das trainierte Netz können die Radarpixel, das Einzelbild, optischen Fluss und Radarfluss beinhalten. Eine kleinere Differenz zwischen dem optischen Fluss und dem Radarfluss an einem ersten Kamerapixel der Kamerapixel kann eine Wahrscheinlichkeit dafür erhöhen, dass das trainierte Netz einen höheren Konfidenzwert für das erste Kamerapixel bestimmt.
Die Radarpixel und der Radarfluss können über ein Zeitintervall akkumuliert werden. Das Einzelbild kann ein erstes Einzelbild sein, die Kameradaten können ein zweites Einzelbild beinhalten und der optische Fluss kann eine Szenenverschiebung zwischen dem ersten Einzelbild und dem zweiten Einzelbild darstellen.
Das trainierte Netz kann ein neuronales Faltungsnetz sein.
Die Regionen können voreingestellte Positionen in dem Einzelbild relativ zu den jeweiligen Radarpixeln aufweisen. Die Regionen können jeweils eine voreingestellte Form in dem Einzelbild aufweisen und die voreingestellte Form kann eine größere Höhe als Breite aufweisen.
Die Regionen können jeweils eine voreingestellte Form in dem Einzelbild sein und die voreingestellte Form kann sich von dem jeweiligen Radarpixel um eine größere Strecke vertikal nach oben als nach unten erstrecken.
Das Ausgeben der Tiefenkarte kann das Ausführen eines trainierten Netzes beinhalten.
Die Radardaten können Einzelzeilendaten sein.
Die Radarpixel können nach der Abbildung auf das Einzelbild horizontal über das Einzelbild hinweg spärlicher sein als die Kamerapixel.
Ein Verfahren beinhaltet Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhaltet, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; für jede Region Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel in dieser Region; und Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte. Die Konfidenzwerte geben die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel an.
Unter Bezugnahme auf die Figuren, in denen gleiche Bezugszeichen in den mehreren Ansichten gleiche Teile bezeichnen, beinhaltet ein Computer 102 einen Prozessor und einen Speicher, in dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind zum Empfangen von Radardaten von einem Radar 114, wobei die Radardaten Radarpixel 116 beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera 112, wobei die Kameradaten ein Einzelbild 118 beinhalten, das Kamerapixel 120 beinhaltet; Abbilden der Radarpixel 116 auf das Einzelbild 118; Generieren jeweiliger Regionen 122 des Einzelbilds 118, welche die jeweiligen Radarpixel 116 umgeben; für jede Region 122 Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel 120 in dieser Region 122; Ausgeben einer Tiefenkarte 126 der hochgerechneten Tiefen für die jeweiligen Kamerapixel 120 auf Grundlage der Konfidenzwerte; und Betreiben eines Fahrzeugs 100, das das Radar 114 und die Kamera 112 beinhaltet, auf Grundlage der Tiefenkarte 126. Die Konfidenzwerte geben die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels 116 für diese Region 122 auf die jeweiligen Kamerapixel 120 an.
Unter Bezugnahme auf 1 kann das Fahrzeug 100 ein beliebiger/s Personenkraftwagen oder Nutzfahrzeug sein, wie etwa ein Auto, ein Truck, ein Geländewagen, ein Crossover, ein Van, ein Minivan, ein Taxi, ein Bus usw.
Bei dem Fahrzeug 100 kann es sich um ein autonomes oder halbautonomes Fahrzeug handeln. Der Computer 102 kann dazu programmiert sein, das Fahrzeug 100 vollständig oder in geringerem Maße unabhängig von dem Eingreifen eines menschlichen Fahrzeugführers zu betreiben. Der Computer 102 kann dazu programmiert sein, den Antrieb 106, das Bremssystem 108, das Lenksystem 110 und/oder andere Fahrzeugsysteme basierend auf Daten von der Kamera 112 und dem Radar 114 sowie anderen Sensoren zu betreiben. Für die Zwecke dieser Offenbarung ist unter einem autonomen Betrieb zu verstehen, dass der Computer 102 den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 ohne Eingabe von einem menschlichen Fahrzeugführer steuert; ist unter einem halbautonomen Betrieb zu verstehen, dass der Computer 102 ein oder zwei von dem Antrieb 106, dem Bremssystem 108 und dem Lenksystem 110 steuert und ein menschlicher Fahrzeugführer den Rest steuert; und ist unter einem nicht autonomen Betrieb zu verstehen, dass ein menschlicher Fahrzeugführer den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 steuert.
Der Computer 102 ist eine mikroprozessorbasierte Rechenvorrichtung, z. B. eine generische Rechenvorrichtung, die einen Prozessor und einen Speicher beinhaltet, ein elektronischer Controller oder dergleichen, ein feldprogrammierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC), eine Kombination der vorstehenden usw. Typischerweise wird eine Hardwarebeschreibungssprache wie VHDL (HardwareBeschreibungssprache für integrierte Schaltungen mit sehr hoher Geschwindigkeit) verwendet, um digitale und Mischsignal-Systeme wie FPGA und ASIC zu beschreiben. Zum Beispiel wird eine ASIC auf Grundlage von VHDL-Programmierung hergestellt, die vor der Herstellung bereitgestellt wird, wohingegen logische Komponenten innerhalb einer FPGA auf Grundlage von VHDL-Programmierung konfiguriert sein können, z. B. auf einem Speicher gespeichert, der elektrisch mit der FPGA-Schaltung verbunden ist. Der Computer 102 kann somit einen Prozessor, einen Speicher usw. beinhalten. Der Speicher des Computers 102 kann Medien zum Speichern von Anweisungen, die durch den Prozessor ausgeführt werden können, sowie zum elektronischen Speichern von Daten und/oder Datenbanken beinhalten, und/oder der Computer 102 kann Strukturen wie etwa die vorstehenden beinhalten, durch die Programmierung bereitgestellt wird. Der Computer 102 kann aus mehreren aneinander gekoppelten Computern bestehen.
Der Computer 102 kann Daten über ein Kommunikationsnetz 104 übertragen und empfangen, wie etwa einen Controller-Area-Network-Bus (CAN-Bus), Ethernet, WLAN, ein Local Interconnect Network (LIN), einen On-Board-Diagnoseanschluss (OBD-II) und/oder über ein beliebiges anderes drahtgebundenes oder drahtloses Kommunikationsnetz. Der Computer 102 kann über das Kommunikationsnetz 104 kommunikativ an die Kamera 112, das Radar 114, den Antrieb 106, das Bremssystem 108, das Lenksystem 110 und andere Komponenten gekoppelt sein.
Der Antrieb 106 des Fahrzeugs 100 erzeugt Energie und wandelt die Energie in Bewegung des Fahrzeugs 100 um. Bei dem Antrieb 106 kann es sich um Folgendes handeln: ein herkömmliches Teilsystem des Fahrzeugantriebs, zum Beispiel einen herkömmlichen Antriebsstrang, der eine Brennkraftmaschine beinhaltet, die an ein Getriebe gekoppelt ist, das eine Rotationsbewegung auf Räder überträgt; einen elektrischen Antriebsstrang, der Batterien, einen Elektromotor und ein Getriebe, das Rotationsbewegung auf die Räder überträgt, beinhaltet; einen Hybridantriebsstrang, der Elemente des herkömmlichen Antriebsstrangs und des elektrischen Antriebsstrangs beinhaltet; oder eine beliebige andere Antriebsart. Der Antrieb 106 kann eine elektronische Steuereinheit (electronic control unit - ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikationsverbindung steht und Eingaben von diesen empfängt. Der menschliche Fahrzeugführer kann den Antrieb 106 z. B. über ein Gaspedal und/oder einen Gangschalthebel steuern.
Das Bremssystem 108 ist typischerweise ein übliches Teilsystem zum Abbremsen eines Fahrzeugs und wirkt der Bewegung des Fahrzeugs 100 entgegen, um dadurch das Fahrzeug 100 abzubremsen und/oder anzuhalten. Das Bremssystem 108 kann Folgendes beinhalten: Reibungsbremsen, wie etwa Scheibenbremsen, Trommelbremsen, Bandbremsen usw.; Nutzbremsen; eine beliebige andere geeignete Art von Bremsen; oder eine Kombination. Das Bremssystem 108 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikationsverbindung steht und Eingaben von diesen empfängt. Der menschliche Fahrzeugführer kann das Bremssystem 108 z. B. über ein Bremspedal steuern.
Das Lenksystem 110 ist typischerweise ein übliches Untersystem zum Lenken eines Fahrzeugs und steuert das Einlenken der Räder. Bei dem Lenksystem 110 kann es sich um ein Zahnstangensystem mit elektrischer Servolenkung, ein Steer-by-Wire-System, wie sie beide bekannt sind, oder ein beliebiges anderes geeignetes System handeln. Das Lenksystem 110 kann eine elektronische Steuereinheit (ECU) oder dergleichen beinhalten, die mit dem Computer 102 und/oder einem menschlichen Fahrzeugführer in Kommunikationsverbindung steht und Eingaben von diesen empfängt. Der menschliche Fahrzeugführer kann das Lenksystem 110 steuern, z. B. über ein Lenkrad.
Die Kamera 112 detektiert elektromagnetische Strahlung in einer gewissen Spannbreite von Wellenlängen. Zum Beispiel kann die Kamera 112 sichtbares Licht, Infrarotstrahlung, ultraviolettes Licht oder eine gewisse Spannbreite von Wellenlängen detektieren, die sichtbares, infrarotes und/oder ultraviolettes Licht beinhaltet. Zum Beispiel kann die Kamera 112 eine ladungsgekoppelte Vorrichtung (charge-coupled device - CCD), ein komplementärer Metall-Oxid-Halbleiter (complementary metal oxide semiconductor - CMOS) oder von beliebiger anderer geeigneter Art sein.
Das Radar 114 überträgt Funkwellen und empfängt Reflexionen dieser Funkwellen, um physische Objekte in der Umgebung zu detektieren. Das Radar 114 kann die direkte Ausbreitung, d. h. das Messen von Zeitverzögerungen zwischen der Übertragung und dem Empfang von Funkwellen, und/oder die indirekte Ausbreitung, d. h. ein frequenzmoduliertes Dauerstrich(FMCW)-Verfahren, verwenden, d. h. das Messen von Änderungen der Frequenz zwischen gesendeten und empfangenen Funkwellen.
Unter Bezugnahme auf 2 sind die Kamera 112 und das Radar 114 relativ zueinander feststehend, weisen insbesondere feste Positionen und Ausrichtungen relativ zueinander auf. Zum Beispiel kann die Kamera 112 höher und weiter hinten montiert sein als das Radar 114. Die Kamera 112 kann an einem Dach des Fahrzeugs 100 oder an einer Decke des Fahrzeugs 100 innerhalb einer Windschutzscheibe montiert sein. Das Radar 114 kann an einem vorderen Stoßfänger des Fahrzeugs 100 montiert sein. Die Kamera 112 und das Radar 114 können stattdessen an anderen Stellen des Fahrzeugs 100 befestigt sein. Die Kamera 112 und das Radar 114 sind so ausgerichtet, dass sich ihre Sichtfelder überlappen. Zum Beispiel können die Kamera 112 und das Radar 114 beide in einer Fahrzeugvorwärtsrichtung ausgerichtet sein. Unter Bezugnahme auf 3 generiert die Kamera 112 die Kameradaten. Bei den Kameradaten handelt es sich um eine Vielzahl, d. h. eine Folge von Einzelbildern 118 des Sichtfelds der Kamera 112. Jedes Einzelbild 118 ist eine zweidimensionale Matrix, die Kamerapixel 120 beinhaltet. (In 3 sind die Kamerapixel 120 nur in den oberen linken Ecken des Einzelbilds 118 und einer der Regionen 122 gezeigt, da es unpraktisch wäre, sie alle zu zeigen, doch erstrecken sich die Kamerapixel 120 über eine Gesamtheit des Einzelbilds 118.) Jedes Kamerapixel 120 weist eine Helligkeit oder Farbe auf, die als ein oder mehrere numerische Werte dargestellt wird, z. B. ein skalarer einheitsloser Wert der photometrischen Lichtintensität zwischen 0 (schwarz) und 1 (weiß) oder Werte für jedes von Rot, Grün und Blau, z. B. jeweils auf einer 8-Bit-Skala (0 bis 255) oder einer 12- oder 16-Bit-Skala. Die Kamerapixel 120 können eine Mischung von Darstellungen sein, z. B. ein sich wiederholendes Muster von skalaren Intensitätswerten für drei Kamerapixel 120 und ein viertes Kamerapixel 120 mit drei numerischen Farbwerten oder ein anderes Muster. Die Position in einem Einzelbild 118, d. h. die Position in dem Sichtfeld der Kamera 112 zu dem Zeitpunkt, zu dem das Einzelbild 118 aufgezeichnet wurde, kann in Pixelabmessungen oder - koordinaten angegeben sein, z. B. ein geordnetes Paar von Pixel entfernungen, wie etwa eine Anzahl an Kamerapixeln 120 von einem oberen Rand und eine Anzahl an Kamerapixeln 120 von einem linken Rand des Einzelbilds 118.
Das Radar 114 generiert die Radardaten. Die Radardaten beinhalten eine Vielzahl von Radarpixeln 116. (In 3 ist nur ein beispielhaftes Radarpixel 116 mit einem Bezugszeichen gekennzeichnet, da es unpraktisch wäre, sie alle zu beschriften, doch handelt es sich bei allen Graustufenquadraten um Radarpixel 116.) Die Radarpixel 116 geben jeweilige Positionen in der Umgebung relativ zur Position des Radars 114 an. Zum Beispiel können die Radardaten in Kugelkoordinaten vorliegen, wobei sich das Radar 114 am Ursprung des Kugelkoordinatensystems befindet. Die Kugelkoordinaten können eine radiale Entfernung, d. h. eine gemessene Tiefe von dem Radar 114 zu dem durch das Radar 114 gemessenen Punkt; einen Polarwinkel, d. h. einen Winkel von einer vertikalen Achse durch das Radar 114 zu dem durch das Radar 114 gemessenen Punkt; und einen Azimutwinkel beinhalten, d.h. einen Winkel in einer horizontalen Ebene von einer horizontalen Achse durch das Radar 114 zu dem durch das Radar 114 gemessenen Punkt. Die horizontale Achse kann z.B. entlang einer Fahrzeugvorwärtsrichtung verlaufen. Alternativ kann das Radar 114 die Radarpixel 116 als kartesische Koordinaten mit dem Radar 114 am Ursprung oder als Koordinaten in einem beliebigen anderen geeigneten Koordinatensystem zurückgeben, oder der Computer 102 kann die Kugelkoordinaten in kartesische Koordinaten oder ein anderes Koordinatensystem umwandeln. Die Radarpixel 116 können auch eine Radialgeschwindigkeit beinhalten, d. h. eine Komponente der Geschwindigkeit des durch das Radar 114 gemessenen Punkts zu dem Radar 114 hin oder von diesem weg.
Die Radardaten können Einzelzeilendaten sein, d.h. die Radarpixel 116 können in einer horizontalen Abfolge angeordnet und nicht vertikal gestapelt sein. Selbst wenn die Radarpixel 116 in einer einzelnen Zeile angeordnet sind, können sich die Radarpixel 116 in unterschiedlichen Höhen oder Polarwinkeln befinden, wie in 3 zu sehen ist. (3 zeigt die Radarpixel 116, die sich über ein Zeitintervall angesammelt haben.) Die Radarpixel 116 sind spärlicher als die Kamerapixel 120. Zum Beispiel können die Radarpixel 116 eine einzelne Zeile anstelle von mehreren Zeilen wie die Kamerapixel 120 sein, und die Radarpixel 116 können horizontal spärlicher als die Kamerapixel 120 sein.
3 zeigt die Radarpixel 116, nachdem sie auf das Einzelbild 118 abgebildet wurden. Zum Beispiel kann der Computer 102 die Radarpixel 116 auf das Einzelbild 118 abbilden, indem er zuerst eine bekannte geometrische Transformation von dem Referenzrahmen des Radars 114 auf den Referenzrahmen der Kamera 112 anwendet: $^{c} q =_{R}^{C} T^{R} q$
wobei q ein 4-Element-Vektor (x_q, y_q, z_q, 1) ist, der einen Punkt in der Umgebung darstellt, das links hochgestellte C das Referenzeinzelbild der Kamera 112 angibt, das links hochgestellte R das Referenzeinzelbild des Radars 114 darstellt und $_{R}^{C} T$
eine 4×4-Transformationsmatrix von dem Referenzrahmen R des Radars 114 zu dem Referenzrahmen C der Kamera 112 ist. Die Transformationsmatrix $_{R}^{C} T$
ist auf Grundlage der relativen Positionen der Kamera 112 und des Radars 114 im Voraus bekannt und in dem Computer 102 gespeichert. Der Vektor q kann in kartesischen Koordinaten dargestellt sein, in denen sich in Bezug auf die Richtung, in welche die Kamera 112 oder das Radar 114 gerichtet ist, die X-Achse nach links erstreckt, die Y-Achse nach oben erstreckt und die Z-Achse nach vorne erstreckt, d. h. die Tiefe wird entlang der Z-Achse gemessen. Die ersten beiden Elemente des Vektors ^Cq, d. h. die vertikalen und lateralen Komponenten des Vektors ^Cq relativ zu der Richtung, in welche die Kamera 112 gerichtet ist, können durch bekannte Konstanten verschoben und/oder skaliert werden, um zu den Pixelkoordinaten (i,j) des Radarpixels 116 zu gelangen. Die Konstanten für die Verschiebung und/oder Skalierung basieren auf den physischen Eigenschaften der Kamera 112.
Unter erneuter Bezugnahme auf 2 kann das Abbilden der Radarpixel 116 auf das Einzelbild 118 unter Verwendung der Transformationsmatrix dazu führen, dass sich die Radarpixel 116 an Kamerapixeln 120 befinden, die Objekten entsprechen, die eine andere Tiefe als die Radarpixel 116 aufweisen. Zum Beispiel kann ein Radarpixel 116 eine Tiefe aufweisen, die Kamerapixeln 120 entspricht, die sich in der Nähe, aber beabstandet von der Position des Radarpixels 116 in dem Einzelbild 118 befinden. Als weiteres Beispiel kann ein Radarpixel 116 eine Tiefe aufweisen, die nicht den Kamerapixeln 120 in dem Einzelbild 118 entspricht, z. B. wenn das Radarpixel 116 von einem Objekt stammt, das in dem Einzelbild 118 verdeckt ist. In dem Beispiel aus 2 kann das Radar 114 die in 2 gezeigten Punkte A, B und C detektieren, die jeweilige Tiefen D_A, D_B und D_C aufweisen. Die Radarpixel 116, die den Punkten A, B und C entsprechen, werden unter Verwendung der Transformationsmatrix auf Kamerapixeln 120 abgebildet, die den Punkten A_p, B_p und C_p entsprechen. Die tatsächliche Tiefe von der Kamera 112 zu Punkt A_p ist ungefähr gleich der Tiefe des Radarpixels 116 von Punk A. Die tatsächliche Tiefe von der Kamera 112 zu Punkt B_p unterscheidet sich von der Tiefe des Radarpixels 116, das Punkt B entspricht, aber die tatsächliche Tiefe von der Kamera 112 zu Punkt B ist die gleiche wie die Tiefe des Radarpixels 116, das Punkt B entspricht. Die tatsächliche Tiefe von der Kamera 112 zu Punkt C_p unterscheidet sich von der Tiefe des Radarpixels 116, das Punkt C entspricht, und die Sicht der Kamera 112 ist verdeckt, sodass sie keine nahegelegenen Kamerapixel 120 detektieren kann, die Punkten mit einer tatsächlichen Tiefe von der Kamera 112 entsprechen, die ungefähr gleich der Tiefe des Radarpixels 116 ist, das Punkt C entspricht.
Unter Bezugnahme auf 4 generiert der Computer 102 nach dem Abbilden der Radarpixel 116 auf das Einzelbild 118 Regionen 122 des Einzelbilds 118, die die jeweiligen Radarpixel 116 umgeben, d. h. eine Region 122 für jedes Radarpixel 116. Jede Region 122 ist eine zusammenhängende Teilmenge des Einzelbilds 118. Jede Region 122 weist eine voreingestellte Position und eine voreingestellte Form relativ zu dem jeweiligen Radarpixel 116 auf. Die voreingestellte Position der Region 122 beinhaltet das Radarpixel 116 innerhalb der Region 122, ist z.B. horizontal an dem Radarpixel 116 zentriert. Die voreingestellte Form in Bezug auf das Radarpixel 116 kann eine größere Höhe als Breite aufweisen, wodurch die Radardaten berücksichtigt werden, die eine größere vertikale Spärlichkeit aufweisen, indem sie z. B. eine einzelne Zeile sind. Die voreingestellte Form kann sich um eine größere Strecke vertikal nach oben als nach unten von dem jeweiligen Radarpixel 116 erstrecken, was berücksichtigt, dass sich Objekte von Interesse möglicherweise in einer größeren Entfernung oberhalb einer Höhe des Radars 114 befinden als unterhalb der Höhe des Radars 114, teilweise deshalb, weil Objekte sich nicht unter dem Boden befinden können, auf dem das Fahrzeug 100 fährt. Zum Beispiel kann die voreingestellte Form ein h×w-Rechteck sein, wobei h eine vertikale Entfernung in Einheiten von Kamerapixeln 120 entlang des Einzelbilds 118 ist und w eine horizontale Entfernung in Einheiten von Kamerapixeln 120 entlang des Einzelbilds 118 ist, wobei h>w. In Bezug auf das jeweilige Radarpixel 116 kann sich die voreingestellte Form der Region 122 um eine Entfernung w/2 nach links und nach rechts von dem Radarpixel 116 erstrecken, und die voreingestellte Form kann sich um eine Entfernung h_up oberhalb des Radarpixels 116 und eine Entfernung h_down unterhalb des Radarpixels 116 erstrecken, wobei h_up + h_down = h und h_up>h_down.
Der Computer 102 bestimmt Konfidenzwerte für die jeweiligen Kamerapixel 120 in jeder Region 122. Die Konfidenzwerte geben eine Konfidenz an, dass die jeweiligen Kamerapixel 120 dieselbe Tiefe wie das Radarpixel 116 für diese Region 122 aufweisen. Der Konfidenzwert kann als eine Funktion A(ij,k) dargestellt werden, wobei (i,j) die Pixelkoordinaten des Radarpixels 116 sind und k ein Index der Kamerapixel 120 in der Region 122 ist, die das Radarpixel 116 umgibt. Der Index k der Kamerapixel 120 weist einen Bereich [1, ... N] auf, wobei N die Gesamtanzahl der Kamerapixel 120 in einer Region 122 ist, z. B. N=h×w für die rechteckige voreingestellte Form für die Regionen 122, die in 4 gezeigt sind. Jedem Kamerapixel 120 in einer Region 122 wird die Tiefe d(ij) des Radarpixels 116 für diese Region 122 und ein Konfidenzwert A(ij,k) zugewiesen. Für Kamerapixel 120 innerhalb mehrerer Regionen 122, d. h., wenn sich die Regionen 122 überlappen, wird dem Kamerapixel 120 die Tiefe des Radarpixels 116 gegeben, für das der Konfidenzwert höher ist. Wie nun beschrieben wird, beinhaltet das Bestimmen der Konfidenzwerte das Ausführen eines ersten trainierten Netzes, z. B. eines neuronalen Netzes oder eines anderen Programms für maschinelles Lernen.
Das erste trainierte Netz nutzt Eingaben von den Kameradaten und den Radardaten. Die Eingaben in das erste trainierte Netz können die Radarpixel 116, das Einzelbild 118, optischen Fluss und Radarfluss beinhalten. Der optische Fluss beschreibt eine Szenenverschiebung, d. h. Unterschiede in den Pixelkoordinaten, die jeweiligen Punkten im Raum entsprechen, zwischen dem als Eingabe genutzten Einzelbild 118, das als ein erstes Einzelbild 118 bezeichnet wird, und einem zweiten Einzelbild 118. Das zweite Einzelbild 118 kann von einem anderen, näheren Zeitpunkt als das erste Einzelbild 118 stammen. Das zweite Einzelbild 118 kann von vor oder nach dem ersten Einzelbild 118 stammen. Zum Beispiel liefert der optische Fluss für ein Ziel, das in dem ersten und zweiten Einzelbild 118 beobachtet wird, eine Abbildung von den Pixelkoordinaten in dem früheren der zwei Einzelbilder 118 zu den Pixelkoordinaten in dem späteren der zwei Einzelbilder 118, z. B. Fluss((i₁,j₁))→(i₂,j₂). Der optische Fluss kann unter Verwendung bekannter Bildverarbeitungstechniken für den Szenenfluss für Bilder bestimmt werden. Gleichermaßen beschreibt der Radarfluss die Verschiebung zwischen den Radardaten zu zwei Zeitpunkten und kann unter Verwendung bekannter Techniken für den Szenenfluss für Radardaten bestimmt werden. Das Einzelbild 118 und der optische Fluss können zu einem Zeitpunkt genutzt werden, und die Radarpixel 116 und der Radarfluss können über ein Zeitintervall, das den Zeitpunkt beinhaltet, akkumuliert werden. Das Zeitintervall kann so gewählt werden, dass es kurz ist, aber ausreichend Radardaten für das erste trainierte Netz bereitstellt, um genaue Ergebnisse zu erzielen, z. B. 0,3 Sekunden. Die Radardaten können unter Verwendung der Bewegung des Fahrzeugs 100 und/oder der Radialgeschwindigkeit aus den Radardaten in den Zeitpunkt des Einzelbilds 118 umgewandelt werden, um die Bewegung des Fahrzeugs 100 und von Objekten in der Umgebung zu kompensieren. Die Akkumulation der Radardaten über das Zeitintervall gleicht die relative Spärlichkeit der Radardaten im Vergleich zu den Kameradaten aus.
Das erste trainierte Netz gibt die Konfidenzwerte A(i,j, k) aus. Der Konfidenzwert A(i,j, k) des k-ten Kamerapixels 120 in einer Region 122 gibt die Konfidenz beim Anwenden der gemessenen Tiefe d(i,j) des Radarpixels 116, das sich bei (i,j) befindet, für diese Region 122 auf das k-te Kamerapixel 120 an. Je größer der Konfidenzwert A(i,j,k) ist, desto näher liegt die gemessene Tiefe d(i,j) wahrscheinlich an der wahren Tiefe des Kamerapixels 120. Zum Beispiel kann der Computer 102 eine Sigmoidfunktion auf eine Rohausgabe z(i,j,k) des ersten trainierten Netzes anwenden, um den Konfidenzwert A(i,j,k) zu erhalten, der in einem Bereich von 0 bis 1 liegt.
Die Kombination von Eingaben kann zum Generieren der Konfidenzwerte A(i,j,k) verwendet werden. Der Einzelbild 118 stellt einen Szenenkontext für jedes Radarpixel 116 sowie Begrenzungsinformationen für Objekte bereit. Die Radarpixel 116 stellen eine Tiefe zum Interpretieren des Kontexts des Einzelbilds 118 und eine Grundlage zum Vorhersagen der Tiefe von nahegelegenen Kamerapixeln 120 bereit. Die Paarung des optischen Flusses und des Radarflusses stellt Hinweise für Verdeckung und Tiefendifferenz bereit, die als Ergebnis der Abbildung der Radarpixel 116 auf das Einzelbild 118 auftreten können, wie vorstehend in Bezug auf 2 beschrieben. Eine geringere Differenz zwischen dem optischen Fluss und dem Radarfluss an einem gegebenen Kamerapixel 120 erhöht eine Wahrscheinlichkeit, dass das erste trainierte Netz einen höheren Konfidenzwert A(i,j,k) für dieses Kamerapixel 120 bestimmt. Bei statischen Objekten sollte der optische Fluss gleich dem Radarfluss sein, wenn die Tiefe des Kamerapixels 120 der Tiefe des entsprechenden Radarpixels 116 entspricht.
Umgekehrt weist ein Radarpixel 116, das im Sichtfeld der Kamera 112 verdeckt ist, einen Radarfluss auf, der sich von dem optischen Fluss eines statischen Objekts unterscheidet, das das Radarpixel 116 verdeckt.
Das erste trainierte Netz kann eine beliebige geeignete Art von Netz zum Umwandeln der Eingaben in die ausgegebenen Konfidenzwerte A(i, j,k) sein. Zum Beispiel kann das erste trainierte Netz ein neuronales Faltungsnetz sein, das zum Analysieren von visuellen Bildern gut geeignet ist. Ein neuronales Faltungsnetz beinhaltet eine Reihe von Schichten, wobei jede Schicht die vorherige Schicht als Eingabe verwendet. Jede Schicht enthält eine Vielzahl von Neuronen, die als Eingabe Daten empfangen, die durch eine Teilmenge der Neuronen der vorherigen Schichten generiert wurden, und eine Ausgabe generieren, die an Neuronen in der nächsten Schicht gesendet wird. Arten von Schichten beinhalten Faltungsschichten, die ein Punktprodukt aus einer Gewichtung und einer kleinen Region von Eingabedaten berechnen; Pooling-Schichten, die eine Downsampling-Operation entlang räumlicher Abmessungen durchführen; und vollständig verbundene Schichten, die auf Grundlage der Ausgabe aller Neuronen der vorherigen Schicht generiert werden. Die letzte Schicht des neuronalen Faltungsnetzes gibt die Rohausgabe z(i,j,k) aus. Alternativ oder zusätzlich kann das erste trainierte Netz ein Codierer-Decodierer-Netz sein, z. B. mit Sprungverbindungen. Codierer-Decodierer-Netze mit Sprungverbindungen leisten gute Arbeit bei der Bildsegmentierung und sind somit gut geeignet, um die Kameradaten zu verwenden, um die Konfidenzwerte A(i,j,k) bestimmten Kamerapixeln 120 zuzuweisen.
Das erste trainierte Netz kann an einem Trainingssatz trainiert werden, der Kameradaten, Radardaten und Ground-Truth-Tiefen, die den Kameradaten und Radardaten entsprechen, beinhaltet. Zum Beispiel kann der Trainingssatz LIDAR-Daten beinhalten, die mit den Kameradaten und Radardaten gekoppelt sind, und die LIDAR-Daten können als Ground Truth verwendet werden. Die LIDAR-Daten können über ein kurzes Zeitintervall akkumuliert werden, um die Dichte der von den LIDAR-Daten zurückgegebenen Tiefen zu erhöhen, was zu einem genaueren trainierten Netz führen kann. Die LIDAR-Daten können auch auf andere Weise verarbeitet werden, um den Trainingssatz zu bilden, wie etwa unter Verwendung des Szenenflusses von LIDAR-Punkten, semantischer Segmentierung und/oder 3D-Begrenzungsrahmen, um verdeckte LIDAR-Punkte aus den Kameradaten in dem Trainingssatz zu entfernen. Diese Arten der Verarbeitung können die LIDAR-Daten genauer machen.
Das erste trainierte Netz kann an dem Trainingssatz trainiert werden, indem eine Verlustfunktion minimiert wird. Ein Element der Verlustfunktion ist eine Markierung für jedes Kamerapixel 120 in einer Region 122 je nachdem, ob die Tiefe des Radarpixels 116 für diese Region 122 innerhalb eines Schwellenwerts der Ground-Truth-Tiefe dieses Kamerapixels 120 liegt, z. B.: $A_{t r} (i, j, k) = {\begin{matrix} 1, & w e n n (| E_{i j k} | < T_{a}) \land (| {\bar{E}}_{i j k} | < T_{r}) \\ 0, & s o n s \end{matrix}$
wobei E_ijk die Differenz zwischen der Tiefe des Radarpixels 116 bei (i,j) und der Ground-Truth-Tiefe des k-ten Kamerapixels 120 ist; T_a ein Schwellenwert für die Tiefendifferenz E_ijk ist; E _ijk die relative Tiefendifferenz ist, die auf die Tiefe des Radarpixels 116 skaliert ist, d. h. E̅̅ _ijk = E_ijkl d(i,j); und T_r ein Schwellenwert für die relative Tiefendifferenz E _ijk ist. Mit anderen Worten ist die Markierung 1, wenn die Tiefendifferenz und die relative Tiefendifferenz zwischen der Tiefe des Radarpixels 116 und der Ground-Truth-Tiefe des Kamerapixels 120 kleiner als die jeweiligen Schwellenwerte sind, und anderenfalls ist die Markierung 0. Die Schwellenwerte T_a und T_r können gewählt werden, um eine Fehlerspanne des Radars 114 zu berücksichtigen. Alternativ kann die Markierung A_tr(i,j,k) nur davon abhängen, ob die Tiefendifferenz E_ijk kleiner als der Schwellenwert T_a ist, oder nur davon, ob die relative Tiefendifferenz E _ijk kleiner als der Schwellenwert T_r ist. Die Verlustfunktion, die minimiert wird, kann der gewichtete binäre Kreuzentropieverlust zwischen den Markierungen A_tr(i,j, k) und einer rohen Netzausgabe z(i,j,k) sein: $L_{C E} = \sum_{i, j, k} w (i, j, k) [- A_{t r} (i, j, k) z (i, j, k) + log (1 + e^{z (i, j, k)})]$
wobei w(i,j,k) eine binäre Gewichtung ist, die angibt, ob es sowohl ein Radarpixel 116 bei (i,j) als auch eine Ground-Truth-Tiefe für das k-te Kamerapixel 120 gibt. Die binäre Gewichtung w(i,j,k) ist gleich 1, wenn beide Bedingungen wahr sind, und 0, wenn dies nicht der Fall ist. Die rohe Netzausgabe z(ij,k) kann durch Anwenden einer Sigmoidfunktion in den Konfidenzwert A(i,j,k) umgewandelt werden, d. h.: $A (i, j, k) = \frac{1}{1 + e^{- z (i, j, k)}}$
Wie nachstehend beschrieben wird, verwendet der Computer 102 die Konfidenzwerte A(i,j,k), um eine Vielzahl von Tiefenbildern 124 zu generieren, die jeweiligen Konfidenzschwellenwerten entsprechen. Die Konfidenzschwellenwerte sind voreingestellt, sind z. B. Konstanten, die durch den Computer 102 gespeichert werden. Die Konfidenzschwellenwerte unterscheiden sich voneinander, d. h., jeder Konfidenzschwellenwert unterscheidet sich von den anderen Konfidenzschwellenwerten, d. h. keiner der Konfidenzschwellenwerte ist gleich. Die Konfidenzschwellenwerte können so gewählt werden, dass ausreichend Daten für ein zweites trainiertes Netz bereitgestellt werden, um die Tiefenvervollständigung wie nachstehend beschrieben durchzuführen, z. B. 0,95, 0,9, 0,8, 0,7, 0,6 und 0,5. Die Anzahl der Vielzahl von Tiefenbildern 124 und somit die Anzahl der Konfidenzschwellenwerte ist voreingestellt, z. B. ist eine bestimmte Anzahl von unterschiedlichen Konfidenzschwellenwerten in dem Computer 102 gespeichert. Die Anzahl Konfidenzschwellenwerte wird so gewählt, dass ausreichend Daten für ein zweites trainiertes Netz bereitgestellt werden, um die Tiefenvervollständigung wie nachstehend beschrieben durchzuführen, z. B. sechs.
Der Computer 102 generiert die Tiefenbilder 124, die den jeweiligen Konfidenzschwellenwerten entsprechen, d. h. er generiert ein Tiefenbild 124 für jeden Konfidenzschwellenwert, z. B. sechs Tiefenbilder 124: jeweils eines für die Konfidenzschwellenwerte von 0,95, 0,9, 0,8, 0,7, 0,6, und 0,5. Jedes Tiefenbild 124 gibt Tiefen für die Kamerapixel 120 an, die Konfidenzwerten über dem Konfidenzschwellenwert dieses Tiefenbildes 124 aufweisen. Mit anderen Worten ist die Tiefe für jedes Kamerapixel 120 in einem der Tiefenbilder 124 die Tiefe des Radarpixels 116 für die Region 122, in der sich das Kamerapixel 120 befindet, wenn der Konfidenzwert des Kamerapixels 120 über dem Konfidenzschwellenwert liegt, und dem Kamerapixel 120 fehlt ein Wert für die Tiefe, wenn der Konfidenzwert des Kamerapixels 120 unter dem Konfidenzschwellenwert liegt. Wenn sich ein Kamerapixel 120 in mehreren Regionen 122 befindet, wird das Kamerapixel 120 der Region 122 zugewiesen, für die das Kamerapixel 120 den höheren Konfidenzwert aufweist. Wie in 4 gezeigt, können die Tiefenbilder 124 als ein Mehrkanal-Tiefenbild 128 dargestellt werden, wobei jedes Tiefenbild 124 ein Kanal ist. Die Anzahl der Kanäle ist die gleiche wie die Anzahl der Tiefenbilder 124 oder Konfidenzschwellenwerte, z. B. sechs, von denen drei in 4 gezeigt sind.
Unter Bezugnahme auf 5 gibt der Computer 102 eine Tiefenkarte 126 der hochgerechneten Tiefen für die jeweiligen Kamerapixel 120 aus. Die Tiefenkarte 126 kann eine Tiefe für jedes Kamerapixel 120 beinhalten. Der Computer 102 gibt die Tiefenkarte 126 auf Grundlage der Konfidenzwerte aus. Zum Beispiel gibt der Computer 102 die Tiefenkarte 126 auf Grundlage der Tiefenbilder 124 aus, die auf Grundlage der Konfidenzwerte generiert werden, wie vorstehend beschrieben. Wie nun beschrieben wird, beinhaltet das Ausgeben der Tiefenkarte 126 das Ausführen eines zweiten trainierten Netzes. Das zweite trainierte Netz nutzt Eingaben von den Kameradaten, den Radardaten und dem ersten trainierten Netz. Die Eingaben in das zweite trainierte Netz beinhalten die Radarpixel 116, das Einzelbild 118 und die Tiefenbilder 124
Das zweite trainierte Netz gibt die Tiefenkarte 126 aus, d. h. es führt eine Tiefenvervollständigung durch. Die Tiefenkarte 126 beinhaltet eine Tiefe für jedes Kamerapixel 120, was bedeutet, dass die Tiefenkarte 126 dicht ist. Die Tiefen sind nicht auf die Tiefen der Radarpixel 116 beschränkt. Die Tiefen können entlang von Flächen von Objekten, die sich zu dem Fahrzeug 100 hin oder von diesem weg erstrecken, ineinander übergehen.
Das zweite trainierte Netz kann eine beliebige geeignete Art von Netz zum Durchführen der Tiefenvervollständigung sein, z. B. wie sie bekannt sind, z. B. ein geführtes neuronales Faltungsnetz.
Das zweite trainierte Netz kann an einem Trainingssatz trainiert werden, der Kameradaten, Radardaten und Ground-Truth-Tiefen, die den Kameradaten und Radardaten entsprechen, beinhaltet. Zum Beispiel kann der Trainingssatz LIDAR-Daten beinhalten, die mit den Kameradaten und Radardaten gekoppelt sind, die wie oben in Bezug auf das erste trainierte Netz verarbeitet werden, und die LIDAR-Daten können als Ground Truth verwendet werden. 6 ist ein Prozessablaufdiagramm, das einen beispielhaften Prozess 600 zum Generieren der Tiefenkarte 126 und Betreiben des Fahrzeugs 100 auf Grundlage der Tiefenkarte 126 veranschaulicht. Im Speicher des Computers 102 sind ausführbare Anweisungen zum Ausführen der Schritte des Prozesses 600 gespeichert und/oder eine Programmierung kann in Strukturen wie vorstehend erwähnt umgesetzt sein. Der Computer 102 kann den Prozess 600 kontinuierlich ausführen, wenn das Fahrzeug 100 eingeschaltet ist. Als allgemeine Übersicht über den Prozess 600empfängt der Computer 102 die Kameradaten und die Radardaten, bildet die Radarpixel 116 auf das Einzelbild 118 ab, generiert die Regionen 122, die die Radarpixel 116 in dem Einzelbild 118 umgeben, bestimmt die Konfidenzwerte der Kamerapixel 120, generiert die Tiefenbilder 124, gibt die Tiefenkarte 126 aus und betreibt das Fahrzeug 100 auf Grundlage der Tiefenkarte 126.
Der Prozess 600 beginnt in einem Block 605, in dem der Computer 102 die Kameradaten von der Kamera und die Radardaten von dem Radar 114 empfängt. Die Radardaten beinhalten die Radarpixel 116, die gemessene Tiefen aufweisen, wie vorstehend beschrieben. Die Kameradaten beinhalten den Einzelbild 118, das die Kamerapixel 120 beinhaltet, wie vorstehend beschrieben.
Als Nächstes ordnet der Computer 102 in einem Block 610 die Radarpixel 116 dem Einzelbild 118 zu, z. B. unter Verwendung der Transformationsmatrix $_{R}^{C} T,$
wie vorstehend beschrieben.
Als Nächstes generiert der Computer 102 in einem Block 615 die Regionen 122 des Einzelbilds 118, die die jeweiligen Radarpixel 116 umgeben, wie vorstehend beschrieben und in 4 gezeigt.
Als Nächstes bestimmt der Computer 102 in einem Block 620 die Konfidenzwerte A(i,j,k) für die Kamerapixel 120 in den Regionen 122 durch Ausführen des ersten trainierten Netzes, wie vorstehend beschrieben.
Als Nächstes generiert der Computer 102 in einem Block 625 die Tiefenbilder 124 unter Verwendung der Konfidenzwerte A(i,j,k), wie vorstehend beschrieben.
Als Nächstes gibt der Computer 102 in einem Block 630 die Tiefenkarte 126 aus, indem er das zweite trainierte Netz mit den Tiefenbildern 124 als Eingaben ausführt, wie vorstehend beschrieben.
Anschließend, in einem Block 635, betreibt der Computer 102 das Fahrzeug 100 auf der Grundlage der Tiefenkarte 126. Zum Beispiel kann der Computer 102 mindestens eines von dem Antrieb 106, dem Bremssystem 108 oder dem Lenksystem 110 betätigen. Zum Beispiel kann der Computer 102 das Lenksystem 110 auf Grundlage der Tiefenkarte 126 als Teil eines Spurhalteassistenzmerkmals betätigen, z. B. auf Grundlage dessen, dass die Tiefenkarte 126 einen Bordstein oder eine Standspur beinhaltet, der bzw. die einen Rand einer Fahrspur definiert. Als ein anderes Beispiel kann der Computer 102 das Bremssystem 108 auf Grundlage der Tiefenzuordnung 126 als Teil einer automatischen Bremsfunktion betätigen, z. B. Bremsen, um zu verhindern, dass das Fahrzeug 100 ein Objekt in der Umgebung berührt. Als ein anderes Beispiel kann der Computer 102 das Fahrzeug 100 autonom betreiben, d. h., den Antrieb 106, das Bremssystem 108 und das Lenksystem 110 auf Grundlage der Tiefenkarte 126 betätigen, um z. B. das Fahrzeug 100 um Objekte in der Umgebung herum zu navigieren. Nach Block 635 endet der Prozess 600.
Im Allgemeinen können die beschriebenen Rechensysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Computerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Anwendung Ford Sync®, der Middleware AppLink/Smart Device Link, des Betriebssystems Microsoft Automotive®, des Betriebssystems Microsoft Windows®, des Betriebssystems Unix (z. B. des Betriebssystems Solaris®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), des Betriebssystems AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, des Betriebssystems Linux, der Betriebssysteme Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, des BlackBerry OS, vertrieben durch die Blackberry, Ltd. in Waterloo, Kanada, und des Betriebssystems Android, entwickelt durch die Google, Inc. und die Open Handset Alliance, oder der QNX® CAR Platform for Infotainment, angeboten durch QNX Software Systems. Beispiele für Rechenvorrichtungen beinhalten unter anderem einen im Fahrzeug integrierten Computer, einen Arbeitsplatzcomputer, einen Server, einen Desktop-, einen Notebook-, einen Laptop- oder einen Handcomputer oder ein anderes Rechensystem und/oder eine andere Rechenvorrichtung.
Rechenvorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechenvorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen kompiliert oder ausgelegt werden, die unter Verwendung einer Reihe von Programmiersprachen und/oder -technologien erstellt wurden, welche ohne Einschränkung entweder für sich oder in Kombination Java™, C, C++, Matlab, Simulink, Stateflow, Visual Basic, Java Script, Python, Perl, HTML usw. beinhalten. Einige dieser Anwendungen können auf einer virtuellen Maschine kompiliert und ausgeführt werden, wie etwa der Java Virtual Machine, der Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, einschließlich eines oder mehrerer der in dieser Schrift beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung vielfältiger computerlesbarer Medien gespeichert und übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Speichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nichttransitorisches (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein solches Medium kann viele Formen annehmen, einschließlich unter anderem nicht flüchtiger Medien und flüchtiger Medien. Nicht flüchtige Medien können zum Beispiel Bild- und Magnetplatten und sonstige dauerhafte Speicher beinhalten. Flüchtige Medien können zum Beispiel einen dynamischen Direktzugriffsspeicher (dynamic random access memory - DRAM) beinhalten, der üblicherweise einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, die einen an einen Prozessor einer ECU gekoppelten Systembus umfassen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel Folgendes: eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physisches Medium mit Lochmustern, einen RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer ausgelesen werden kann. Datenbanken, Datendepots oder andere Datenspeicher, die in dieser Schrift beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, eines Datensatzes in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, eines relationalen Datenbankverwaltungssystems (relational database management system - RDBMS), einer nicht relationalen Datenbank (NoSQL), einer Graphdatenbank (graph database - GDB) usw. Jeder derartige Datenspeicher ist im Allgemeinen innerhalb einer Rechenvorrichtung beinhaltet, die ein Computerbetriebssystem, wie etwa eines der vorstehend erwähnten, verwendet, und es wird auf eine oder mehrere von einer Vielfalt von Weisen über ein Netz darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann Dateien beinhalten, die in verschiedenen Formaten gespeichert sind. Ein RDBMS setzt im Allgemeinen die Structured Query Language (SQL) zusätzlich zu einer Sprache zum Generieren, Speichern, Editieren und Ausführen gespeicherter Abläufe ein, wie etwa die vorangehend erwähnte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechenvorrichtungen (z. B. Servern, Personal Computern usw.) umgesetzt sein, die auf damit assoziierten computerlesbaren Medien (z. B. Platten, Speichern usw.) gespeichert sind. Ein Computerprogrammprodukt kann derartige auf computerlesbaren Medien gespeicherte Anweisungen zum Ausführen der in dieser Schrift beschriebenen Funktionen umfassen.
In den Zeichnungen geben gleiche Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente verändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren, Heuristiken usw. versteht es sich, dass die Schritte derartiger Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Prozesse jedoch so umgesetzt werden könnten, dass die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der in dieser Schrift beschriebenen Reihenfolge abweicht. Es versteht sich ferner, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte in dieser Schrift beschriebene Schritte weggelassen werden könnten.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass eines oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält. Die Adjektive „erster“ und „zweiter“ werden in der gesamten Schrift als Identifikatoren verwendet und sollen keine Bedeutung, Reihenfolge oder Anzahl anzeigen.
Die Offenbarung wurde auf veranschaulichende Weise beschrieben und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll. In Anbetracht der vorstehenden Lehren sind viele Modifikationen und Variationen der vorliegenden Offenbarung möglich und kann die Offenbarung anders als konkret beschrieben umgesetzt werden.
Gemäß der vorliegenden Erfindung wird ein Computer bereitgestellt, der einen Prozessor und einen Speicher aufweist, in dem Anweisungen gespeichert sind, die durch den Prozessor ausführbar sind zum Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhaltet, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel für jede Region in dieser Region, wobei die Konfidenzwerte die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel angeben; und Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte. Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betreiben eines Fahrzeugs, das das Radar und die Kamera beinhaltet, auf Grundlage der Tiefenkarte.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Generieren einer Vielzahl von Tiefenbildern, die jeweiligen Konfidenzschwellenwerten entsprechen, wobei jedes Tiefenbild Tiefen für die Kamerapixel angibt, die Konfidenzwerte über dem Konfidenzschwellenwert dieses Tiefenbilds aufweisen.
Gemäß einer Ausführungsform basiert das Ausgeben der Tiefenkarte auf den Tiefenbildern. Gemäß einer Ausführungsform beinhaltet das Ausgeben der Tiefenkarte das Ausführen eines trainierten Netzes, und Eingaben in das trainierte Netz beinhalten die Radarpixel, das Einzelbild und die Tiefenbilder.
Gemäß einer Ausführungsform sind die Konfidenzschwellenwerte voreingestellt und voneinander verschieden.
Gemäß einer Ausführungsform ist eine Anzahl der Vielzahl von Tiefenbildern voreingestellt. Gemäß einer Ausführungsform beinhaltet das Bestimmen der Konfidenzwerte das Ausführen eines trainierten Netzes.
Gemäß einer Ausführungsform beinhalten Eingaben in das trainierte Netz die Radarpixel, das Einzelbild, optischen Fluss und Radarfluss.
Gemäß einer Ausführungsform erhöht eine kleinere Differenz zwischen dem optischen Fluss und dem Radarfluss an einem ersten Kamerapixel der Kamerapixel eine Wahrscheinlichkeit dafür, dass das trainierte Netz einen höheren Konfidenzwert für das erste Kamerapixel bestimmt.
Gemäß einer Ausführungsform werden die Radarpixel und der Radarfluss über ein Zeitintervall akkumuliert.
Gemäß einer Ausführungsform ist das Einzelbild ein erstes Einzelbild, die Kameradaten beinhalten ein zweites Einzelbild und der optische Fluss stellt eine Szenenverschiebung zwischen dem ersten Einzelbild und dem zweiten Einzelbild dar.
Gemäß einer Ausführungsform ist das trainierte neuronale Netz ein neuronales Faltungsnetz. Gemäß einer Ausführungsform weisen die Regionen voreingestellte Positionen in dem Einzelbild relativ zu den jeweiligen Radarpixeln auf.
Gemäß einer Ausführungsform weisen die Regionen jeweils eine voreingestellte Form in dem Einzelbild auf und die voreingestellte Form weist eine größere Höhe als Breite auf.
Gemäß einer Ausführungsform sind die Regionen jeweils eine voreingestellte Form in dem Einzelbild und die voreingestellte Form erstreckt sich von dem jeweiligen Radarpixel um eine größere Strecke vertikal nach oben als nach unten.
Gemäß einer Ausführungsform beinhaltet das Ausgeben der Tiefenkarte das Ausführen eines trainierten Netzes.
Gemäß einer Ausführungsform handelt es sich bei den Radardaten um Einzelzeilendaten. Gemäß einer Ausführungsform sind die Radarpixel nach der Abbildung auf das Einzelbild horizontal über das Einzelbild hinweg spärlicher als die Kamerapixel.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren: Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhaltet, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel für jede Region in dieser Region, wobei die Konfidenzwerte die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel angeben; und Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte.

Claims

Verfahren, umfassend: Empfangen von Radardaten von einem Radar, wobei die Radardaten Radarpixel beinhalten, die jeweilige gemessene Tiefen aufweisen; Empfangen von Kameradaten von einer Kamera, wobei die Kameradaten ein Einzelbild beinhalten, das Kamerapixel beinhaltet; Abbilden der Radarpixel auf das Einzelbild; Generieren jeweiliger Regionen des Einzelbilds, welche die jeweiligen Radarpixel umgeben; für jede Region Bestimmen von Konfidenzwerten für die jeweiligen Kamerapixel in dieser Region, wobei die Konfidenzwerte die Konfidenz beim Anwenden der gemessenen Tiefe des Radarpixels für diese Region auf die jeweiligen Kamerapixel angeben; und Ausgeben einer Tiefenkarte der hochgerechneten Tiefen für die jeweiligen Kamerapixel auf Grundlage der Konfidenzwerte.
Verfahren nach Anspruch 1, ferner umfassend Betreiben eines Fahrzeugs, das das Radar und die Kamera beinhaltet, auf Grundlage der Tiefenkarte.
Verfahren nach Anspruch 1, ferner umfassend Generieren einer Vielzahl von Tiefenbildern, die jeweiligen Konfidenzschwellenwerten entsprechen, wobei jedes Tiefenbild Tiefen für die Kamerapixel angibt, die Konfidenzwerte über dem Konfidenzschwellenwert dieses Tiefenbilds aufweisen.
Verfahren nach Anspruch 3, wobei das Ausgeben der Tiefenkarte auf den Tiefenbildern basiert.
Verfahren nach Anspruch 4, wobei das Ausgeben der Tiefenkarte Ausführen eines trainierten Netzes beinhaltet und Eingaben in das trainierte Netzwerk die Radarpixel, das Einzelbild und die Tiefenbilder beinhalten.
Verfahren nach Anspruch 3, wobei die Konfidenzschwellenwerte voreingestellt und voneinander verschieden sind.
Verfahren nach Anspruch 3, wobei eine Anzahl der Vielzahl von Tiefenbildern voreingestellt ist.
Verfahren nach Anspruch 1, wobei das Bestimmen der Konfidenzwerte Ausführen eines trainierten Netzes beinhaltet.
Verfahren nach Anspruch 8, wobei Eingaben in das trainierte Netz die Radarpixel, das Einzelbild, optischen Fluss und Radarfluss beinhalten.
Verfahren nach Anspruch 9, wobei eine kleinere Differenz zwischen dem optischen Fluss und dem Radarfluss an einem ersten Kamerapixel der Kamerapixel eine Wahrscheinlichkeit dafür erhöht, dass das trainierte Netz einen höheren Konfidenzwert für das erste Kamerapixel bestimmt.
Verfahren nach Anspruch 1, wobei die Regionen voreingestellte Positionen in dem Einzelbild relativ zu den jeweiligen Radarpixeln aufweisen.
Verfahren nach Anspruch 11, wobei die Regionen jeweils eine voreingestellte Form in dem Einzelbild aufweisen und die voreingestellte Form eine größere Höhe als Breite aufweist.
Verfahren nach Anspruch 11, wobei die Regionen jeweils eine voreingestellte Form in dem Einzelbild sind und die voreingestellte Form sich von dem jeweiligen Radarpixel um eine größere Strecke vertikal nach oben als nach unten erstreckt.
Verfahren nach Anspruch 1, wobei das Ausgeben der Tiefenkarte Ausführen eines trainierten Netzes beinhaltet.
Computer, umfassend einen Prozessor und einen Speicher, in dem durch den Prozessor ausführbare Anweisungen gespeichert sind, um das Verfahren nach einem der Ansprüche 1-14 durchzuführen.