DE102022121778A1

DE102022121778A1 - Erkennen einer Anhängerkupplung in einer Umgebung eines Fahrzeugs

Info

Publication number: DE102022121778A1
Application number: DE102022121778.7A
Authority: DE
Inventors: Akhilesh Kumar Malviya; Narmatha Gopal; Arindam Das; Mohamed Jauhar
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2022-08-29
Filing date: 2022-08-29
Publication date: 2024-02-29

Abstract

Gemäß einem Verfahren zur Erkennung einer Anhängerkupplung (3) in einer Umgebung eines Fahrzeugs (1) wird mindestens eine erste Merkmalskarte erzeugt, indem ein erstes Encodermodul (15) eines neuronalen Netzwerks (11) auf ein Kamerabild (7) angewendet wird. Mindestens eine zweite Merkmalskarte wird erzeugt, indem ein zweites Encodermodul (14) des neuronalen Netzes (11) auf Ultraschalldaten angewendet wird, die von wenigstens einem Ultraschallsensorsignal (8) abhängen. Ein fusionierter Satz von Merkmalskarten wird durch Fusionieren der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte erzeugt. Eine Kupplungsposition und/oder -orientierung wird geschätzt, indem mindestens ein Regressionsmodul (20, 21) des neuronalen Netzwerks (11) auf Regressionseingabedaten angewendet wird, die von dem fusionierten Satz von Merkmalskarten abhängen.

Description

Die vorliegende Erfindung ist auf ein Verfahren zum Erkennen einer Anhängerkupplung in einer Umgebung eines Fahrzeugs gerichtet, wobei ein Kamerabild, das die Anhängerkupplung abbildet, durch eine Kamera des Fahrzeugs erzeugt wird. Die Erfindung ist ferner auf ein Verfahren zur Verfolgung einer Anhängerkupplung in einer Umgebung eines Fahrzeugs, auf ein Verfahren zur Unterstützung der Ankopplung eines Fahrzeugs an eine Anhängerkupplung in einer Umgebung des Fahrzeugs, auf ein elektronisches Fahrzeugführungssystem und auf ein Computerprogrammprodukt gerichtet.
Für teilweise oder vollständige automatische Fahrfunktionen ist die automatische Erkennung von Objekten in der Umgebung eines Ego-Fahrzeugs sehr wichtig. Es ist bekannt, Algorithmen zur automatischen visuellen Wahrnehmung, auch als Computer-Vision-Algorithmen bezeichnet, basierend auf Kamerabildern der Kameras des Ego-Fahrzeugs zu verwenden, um Objekte in der Umgebung des Ego-Fahrzeugs zu detektieren, lokalisieren und/oder zu charakterisieren.
Beispielsweise ist die Erkennung einer Anhängerkupplung eines Anhängers in der Umgebung eines Fahrzeugs wichtig, um einen Fahrer des Fahrzeugs bei der Ankopplung des Fahrzeugs an den Anhänger zu unterstützen oder um das Fahrzeug halbautomatisch oder automatisch zu der Anhängerkupplung zu führen. Das Szenenverständnis ist jedoch in Szenarios mit geringem Licht wie etwa in der Nacht und/oder bei ungünstigen Wetterbedingungen basierend auf Kamerabildern sehr fordernd. Ultraschallsensoren werden nicht signifikant von Bedingungen mit wenig Licht oder ungünstigen Wetterverhältnissen beeinflusst. Die Daten von Ultraschallsensoren erlauben es jedoch nicht, semantische Informationen zu extrahieren, die es erlauben, die Anhängerkupplung zu identifizieren.
Dokument US 2019/0016264 A1 beschreibt einen Anhängerwinkel-Schätzalgorithmus, gemäß dem Bilder einer Backupkamera erhalten werden und einem trainierten faltenden neuronalen Netzwerk, CNN, zugeführt werden, welches den Anhängerwinkel ausgibt. Das CNN kann Merkmale aus jeder Art von Zugstange extrahieren, um den Winkel des Anhängers relativ zu dem Fahrzeug zu schätzen.
Es ist eine Aufgabe der vorliegenden Erfindung, die Zuverlässigkeit und/oder Genauigkeit bei der Detektion einer Anhängerkupplung basierend auf einem Kamerabild zu erhöhen.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Die Erfindung basiert auf der Idee, entsprechende Merkmalskarten mittels eines trainierten künstlichen neuronalen Netzwerks basierend auf einem Kamerabild einerseits und basierend auf Ultraschalldaten, die von einem Ultraschallsensorsystem erhalten werden, andererseits zu erzeugen. Die Merkmalskarten werden fusioniert und die Kupplungsposition und/oder Kupplungsorientierung der Anhängerkupplung wird durch das neuronale Netzwerk basierend auf den fusionierten Merkmalskarten abgeschätzt.
Gemäß einem ersten Aspekt der Erfindung wird ein Verfahren zur Erkennung einer Anhängerkupplung, insbesondere eines Anhängers, in einer Umgebung eines Fahrzeugs angegeben. Ein Kamerabild, das die Anhängerkupplung abbildet, wird durch eine Kamera, insbesondere eine rückwärtsgewandte Kamera, des Fahrzeugs erzeugt. Mindestens eine erste Merkmalskarte wird erzeugt, insbesondere durch mindestens eine Recheneinheit des Fahrzeugs, indem mindestens ein erstes Encodermodul eines trainierten künstlichen neuronalen Netzwerks auf das Kamerabild angewendet wird. Ultraschallimpulse werden durch wenigstens einen Ultraschallsender des Fahrzeugs, insbesondere eines Ultraschallsensorsystem des Fahrzeugs, in die Umgebung emittiert und mindestens ein Ultraschallsensorsignal wird durch wenigstens einen Ultraschalldetektor des Fahrzeugs, insbesondere des Ultraschallsensorsystems, abhängig von reflektierten Anteilen der emittierten Ultraschallimpulse erzeugt. Mindestens eine zweite Merkmalskarte wird erzeugt, insbesondere durch die mindestens eine Recheneinheit, indem mindestens ein zweites Encodermodul des neuronalen Netzwerks auf Ultraschalldaten angewendet wird, die von dem mindestens einen Ultraschallsensorsignal abhängigen. Ein fusionierter Satz von Merkmalskarten wird erzeugt, insbesondere durch die mindestens eine Recheneinheit, indem die mindestens eine erste Merkmalskarte und die mindestens eine zweite Merkmalskarte fusioniert werden. Mindestens eine Kupplungsposition und/oder eine Kupplungsorientierung der Anhängerkupplung wird abgeschätzt, insbesondere durch die mindestens eine Recheneinheit, indem mindestens ein Regressionsmodul des neuronalen Netzwerks auf Regressionseingangsdaten angewendet wird, die von dem fusionierten Satz von Merkmalskarten abhängen.
Das Verfahren zum Erkennen der Anhängerkupplung gemäß der Erfindung kann auch als Verfahren aufgefasst werden, welches die beschriebenen Schritte zum Erzeugen des Kamerabilds und des mindestens einen Ultraschallsensorsystems beinhaltet sowie das Anwenden eines Algorithmus zur automatischen visuellen Wahrnehmung auf das Kamerabild und das wenigstens eine Ultraschallsensorsystem, insbesondere durch die mindestens eine Recheneinheit des Fahrzeugs. Der Algorithmus zur automatischen visuellen Wahrnehmung, der auch als Computer-Vision-Algorithmus oder Maschinen-Vision-Algorithmus bezeichnet werden kann, beinhaltet das trainierte künstliche neuronale Netzwerk.
Ein Algorithmus zur automatischen visuellen Wahrnehmung kann als computerimplementierter Algorithmus zur automatischen Durchführung eines oder mehrerer visueller Wahrnehmungsaufgaben verstanden werden. Eine visuelle Wahrnehmungsaufgabe, die auch als Computer-Vision-Aufgabe bezeichnet wird, kann beispielsweise als Aufgabe zum Extrahieren visuell wahrnehmbarer Informationen aus Bilddaten verstanden werden. Insbesondere kann die visuelle Wahrnehmungsaufgabe im Prinzip durch einen Menschen ausgeführt werden, der in der Lage ist, ein Bild entsprechend den Bilddaten visuell wahrzunehmen. Im vorliegenden Zusammenhang werden visuelle Wahrnehmungsaufgaben jedoch automatisch ohne die Notwendigkeit einer Unterstützung durch einen Menschen durchgeführt.
Im Kontext der vorliegenden Erfindung kann das Bestimmen der wenigstens einen Kupplungsposition und/oder der Kupplungsorientierung durch Anwendung des wenigstens einen Regressionsmoduls als Durchführung einer oder mehrerer visueller Wahrnehmungsaufgaben aufgefasst werden. Der Algorithmus zur automatischen visuellen Wahrnehmung wird nicht ausschließlich basierend auf dem Kamerabild als Sensoreingabe durchgeführt, sondern auch basierend auf dem mindestens einen Ultraschallsensorsignal beziehungsweise den Ultraschalldaten. Ultraschallwellen oder Impulse sind für Menschen nicht sichtbar. Dennoch kann der verwendete Algorithmus als Algorithmus zur automatischen visuellen Wahrnehmung bezeichnet werden.
Das trainierte künstliche neuronale Netzwerk kann beispielsweise in einer computerlesbaren Form bereitgestellt werden, beispielsweise gespeichert auf einem Speichermedium des Fahrzeugs, beispielsweise der mindestens einen Recheneinheit.
Das neuronale Netzwerk beinhaltet mehrere Module einschließlich des ersten Encodermoduls, des zweiten Encodermoduls und des wenigstens einen Regressionsmoduls. Module können als Software-Module oder Teile des neuronalen Netzwerks verstanden werden. Ein Software-Modul kann als Software-Code verstanden werden, der funktional verbunden und zu einer Einheit zusammengefasst ist. Ein Software-Modul kann mehrere Verarbeitungsschritte und/oder Datenstrukturen beinhalten oder implementieren.
Die Module können insbesondere selbst neuronale Netzwerke oder Unternetzwerke darstellen. Wenn nicht anders angegeben, kann ein Modul des neuronalen Netzwerks als trainierbares und, insbesondere, trainiertes Modul des neuronalen Netzwerks verstanden. Beispielsweise kann das neuronale Netzwerk und demzufolge können alle seine trainierbaren Module in einer Ende-zu-Ende-Weise trainiert werden, bevor das Verfahren zur Erkennung der Anhängerkupplung ausgeführt wird. In anderen Implementieren können jedoch verschiedene Module individuell trainiert oder vortrainiert sein. Mit anderen Worten entspricht das Verfahren gemäß der Erfindung einer Einsatzphase des neuronalen Netzwerks.
Das Training selbst kann durch Verwendung konventioneller Methoden zum Trainieren neuronaler Netzwerke, insbesondere faltender neuronaler Netzwerke, CNN, durchgeführt werden, wie beispielsweise überwachte Trainingsansätze.
Das Anwenden wenigstens des ersten Encodermoduls auf das Kamerabild, um die mindestens eine Merkmalskarte zu erzeugen, kann das Anwenden eines oder mehrerer weiterer trainierbarer oder nicht trainierbarer Module des neuronalen Netzwerks oder des Algorithmus zur visuellen Wahrnehmung auf das Kamerabild vor der Anwendung des ersten Encodermoduls und/oder auf eine Ausgabe des ersten Encodermoduls vor der Fusionierung der mindestens einen ersten Merkmalskarte mit der mindestens einen zweiten Merkmalskarte beinhalten. Mit anderen Worten kann die mindestens eine erste Merkmalskarte durch Anwendung des ersten Encodermoduls auf das Kamerabild erzeugt werden oder die mindestens eine Merkmalskarte kann durch Anwenden einer Vielzahl von Modulen, die das erste Encodermodul beinhalten, auf das Kamerabild erzeugt werden. Dies gilt analog für das Anwenden wenigstens des zweiten Encodermoduls auf die Ultraschalldaten, um die mindestens eine zweite Merkmalskarte zu erzeugen.
Das erste Encodermodul kann eine oder mehrere Faltungsschichten beinhalten, welche die Merkmale der mindestens einen ersten Merkmalskarte aus dem Kamerabild oder dem vorverarbeiteten Kamerabild extrahieren. Die räumlichen Dimensionen der wenigstens einen Merkmalskarte können im Allgemeinen von den räumlichen Dimensionen des Kamerabilds, abhängig von der Architektur des ersten Encodermoduls, abweichen. Im Allgemeinen kann das Kamerabild als dreidimensionaler Tensor der Größe H × W × C verstanden werden. Dabei bezeichnet H × W die räumliche Größe oder die räumlichen Dimensionen des Kamerabilds, nämlich seine Höhe H und seine Breite W im Sinne von Pixeln des Kamerabilds. C ist die Kanaldimension und kann im Fall des Kamerabilds beispielsweise verschiedene Farbkanäle widerspiegeln. Es ist jedoch auch möglich, dass für das Kamerabild C=1 gilt. Jede Merkmalskarte i der mindestens einen ersten Merkmalskarte ist ebenfalls durch eine entsprechende räumliche Größe H_i × W_i und eine Kanalanzahl Ci charakterisiert, die jedoch von der Größe und Kanalzahl des Kamerabilds abweichen können. Dasselbe gilt analog für das zweite Encodermodul und die mindestens eine zweite Merkmalskarte.
Jedes Ultraschallsensorsignal des wenigstens einen Ultraschallsensorsignals kann beispielsweise derart aufgefasst werden, dass es eine Einhüllende einer Ultraschallwelle entsprechend der reflektierten Anteile des emittierten Ultraschallimpulses darstellt. Jedes Ultraschallsensorsignal ist dann durch eine Amplitude des entsprechenden Sensorsignals als Funktion der Zeit gegeben. Da die Schallgeschwindigkeit bekannt ist, insbesondere für eine vorgegebene Lufttemperatur in der Umgebung, kann die Amplitude als Funktion der Zeit direkt in eine Amplitude als Funktion eines radialen Abstands umgerechnet werden, wobei im Falle eines indirekten Signalpfades geeignete Interpolationen oder Mittelungen berücksichtigt werden können. Im Prinzip ist es möglich, verschiedene Ultraschalldetektoren an verschiedenen Positionen zu verwenden und das wenigstens eine Ultraschallsensorsignal auszuwerten, um nicht nur radiale Abstandsinformationen, sondern auch Winkelinformationen betreffend die Reflexionsquellen in der Umgebung bezüglich des Ultraschallsensorsystems zu erhalten. Auf diese Weise können die Ultraschalldaten beispielsweise basierend auf dem mindestens einen Ultraschallsensorsignal als zweidimensionale Ultraschallkarte, insbesondere als Draufsicht-Ultraschallkarte, erzeugt werden, welche die Umgebung darstellt.
Dies ist jedoch sogar auch dann möglich, wenn die Winkelinformationen nicht aus der Kombination der Ultraschallsensorsignale extrahiert werden. Beispielsweise können in einem einfachen Ansatz alle Winkelpositionen oder alle Winkelpositionen in einem vordefinierten Winkelsichtfeld gleichwertig behandelt werden, so dass der Beitrag jedes Ultraschallsensorsignals zu den Ultraschalldaten oder der Ultraschallkarte im Wesentlichen kreisförmig ist. Jedoch können auch heuristische oder empirische Informationen verwendet werden, um die Genauigkeit der Ultraschalldaten zu verbessern. Beispielsweise kann der Beitrag jedes Ultraschallsensorsignals auf ein Winkelsichtfeld des entsprechenden Emitters und/oder Detektors des Ultraschallsensorsystems beschränkt werden. Auch können radiale Abschnittgrenzen verwendet werden.
Alternativ oder zusätzlich können jedoch genauere Winkelverteilungen verwendet werden, um die winkelmäßige Emissions- oder Detektionscharakteristik des Ultraschallemitters beziehungsweise des entsprechenden Ultraschalldetektors zu berücksichtigen. Beispielsweise kann die Intensität des emittierten Ultraschallimpulses entlang einer Längsrichtung des Emitters maximal sein und/oder die Detektorempfindlichkeit des entsprechenden Ultraschalldetektors kann entlang der Längsrichtung des entsprechenden Detektors maximal sein. Empirisch oder heuristisch bestimmte Verteilungen, beispielsweise Beta-Verteilungen, können verwendet werden, um die Ultraschallcharakteristik anzunähern. In Kombination mit den radialen Informationen, die direkt von dem zeitabhängigen mindestens einen Sensorsignal erhalten werden, können die Ultraschalldaten als eine zweidimensionale räumliche Karte oder, in anderen Worten, als Ultraschallbild erhalten werden.
Dementsprechend können die Ultraschalldaten analog wie es für Kamerabilder bekannt ist durch das neuronale Netzwerk behandelt werden, beispielsweise indem sie durch eine oder mehrere Faltungsschichten des zweiten Encodermoduls zur Extraktion entsprechender Merkmale geschickt werden. Obwohl der Inhalt der Ultraschalldaten für einen Menschen nicht unmittelbar interpretierbar sein kann, ist das trainierte neuronale Netzwerk dazu in der Lage, automatisch die codierte Information ähnlich wie für Kamerabilder zu interpretieren. Durch Fusionieren der Merkmale, die von den Ultraschalldaten erhalten werden, mit den Merkmalen, die von dem Kamerabild erhalten werden, kann die Zuverlässigkeit der Regression der wenigstens einen Kupplungsposition und/oder Kupplungsorientierung signifikant verbessert werden, insbesondere für Szenarios mit wenig Licht und Objekte mit einem relativ geringen Abstand vom Boden, wie die Anhängerkupplung. Beispielsweise stellen die Ultraschallsensorsignale reflektierende Objekte in der Umgebung einschließlich der Anhängerkupplung unabhängig von den Beleuchtungsbedingungen dar.
Zum Erzeugen der Ultraschalldaten abhängig von dem mindestens einen Ultraschallsensorsignal kann ein weiteres Software-Modul auf das mindestens eine Ultraschallsensorsignal angewendet werden, wobei das weitere Software-Modul nicht notwendigerweise ein Teil des neuronalen Netzwerks ist. Insbesondere ist das weitere Software-Modul nicht notwendigerweise ein trainiertes oder trainierbares Modul. In anderen Implementierungen kann das weitere Software-Modul jedoch auch ein trainierbares oder trainiertes Modul des neuronalen Netzwerks sein.
Im Allgemeinen können die Emitter und Detektoren des Ultraschallsensorsystems kombiniert und als Ultraschall-Sendeempfänger ausgestaltet sein oder können separat voneinander implementiert sein. Insbesondere können reflektierte Anteile eines Ultraschallimpulses, die von einem Ultraschall-Sendeempfänger emittiert wurden, von demselben Ultraschall-Sendeempfänger detektiert werden, was als direkter Signalpfad bezeichnet wird, oder von einem anderen Ultraschall-Sendeempfänger des Ultraschallsensorsystems, was als indirekter Signalpfad bezeichnet wird. Die Ultraschall-Sendeempfänger können im Folgenden auch als Ultraschallsensoren bezeichnet werden.
Das Fusionieren der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte kann die Anwendung bekannter Mechanismen zum Fusionieren von Merkmalskarten, wie die Verkettung der entsprechenden Merkmalskarten, beinhalten. Zum Fusionieren können in manchen Implementierungen eine oder mehrere der mindestens einen ersten Merkmalskarte und/oder der mindestens einen zweiten Merkmalskarte hochgesampelt oder heruntergesampelt werden, um die gewünschten räumlichen Dimensionen zur weiteren Verarbeitung zu erreichen. Zum Beispiel kann ein Fusionierungs- oder Verkettungsmodul des neuronalen Netzwerks auf die mindestens eine erste Merkmalskarte und auf die mindestens eine zweite Merkmalskarte angewendet werden, um den fusionierten Satz von Merkmalskarten zu erzeugen. Das Fusionierungsmodul ist nicht notwendigerweise trainierbar oder trainiert.
Insbesondere kann ein Sichtfeld der Kamera teilweise mit einem Sichtfeld des Ultraschallsensorsystems, insbesondere einem gemeinsamen Sichtfeld aller Ultraschallsensoren des Ultraschallsensorsystems, die bei der Erzeugung des mindestens einen Ultraschallsensorsignals involviert sind, teilweise überlappen. Folglich stellen das Kamerabild und das mindestens eine Ultraschallsensorsignal jedenfalls zum Teil dieselbe räumliche Region in der Umgebung dar. Zum Beispiel kann die Kamera eine rückwärtsgewandte Kamera des Fahrzeugs sein und die Ultraschallsensoren können dementsprechend an dem hinteren Ende des Fahrzeugs montiert sein.
Die Anhängerkupplung kann verschiedene Designs haben, wie V-artige Kupplungen oder Y-artige Kupplungen, et cetera. In jedem Fall kann eine Längsrichtung der Anhängerkupplung definiert werden, beispielsweise so, dass die Längsrichtung parallel zu einer Fahrtrichtung des Gespanns aus Fahrzeug und Anhänger, wenn diese angekoppelt sind, ist, wenn das Fahrzeug und folglich das Gespann geradeaus nach vorne fährt ohne zu lenken. In diesem Fall ist die Längsrichtung der Anhängerkupplung parallel zu der Längsrichtung des Fahrzeugs. Falls der Anhänger nicht an das Fahrzeug angekoppelt ist, schließt die Längsrichtung des Fahrzeugs im Allgemeinen einen von Null verschiedenen Kupplungswinkel mit der Längsrichtung der Anhängerkupplung ein. Die Kupplungsorientierung kann direkt oder indirekt durch diesen Kupplungswinkel zwischen den genannten Längsrichtungen gegeben sein.
Die wenigstens eine Kupplungsposition kann wenigstens eine Position eines charakteristischen Punkts der Anhängerkupplung sein, beispielsweise eines Endpunkts oder Kopplungspunkts der Anhängerkupplung. Die mindestens eine Kupplungsposition kann beispielsweise Koordinaten des charakteristischen Punkts in einem Referenzkoordinatensystem beinhalten, beispielsweise einem Koordinatensystem der Kamera oder des Ultraschallsensorsystems oder des Fahrzeugs. Die mindestens eine Kupplungsposition kann auch Bildkoordinaten oder Pixelkoordinaten des charakteristischen Punkts in dem Kamerabild beinhalten.
Mittels der Erfindung werden die jeweiligen Vorteile der Kamera beziehungsweise des Ultraschallsensorsystems als unterschiedliche Arten von Umfeldsensormodalitäten ausgenutzt, um deren jeweilige Limitierungen zu überwinden, insbesondere in Szenarios mit wenig Licht. Durch die Verwendung des mindestens einen Ultraschallsensorsignals als eine Quelle von Eingangsdaten für die Regressionsaufgaben werden die entsprechenden Limitierungen des Kamerabilds überwunden, insbesondere eines Kamerabilds einer Kamera im sichtbaren Bereich, bei Bedingungen mit wenig Licht. Während die individuellen Merkmale und Konturen der Anhängerkupplung in dem Kamerabild nicht sichtbar oder nicht klar sichtbar sein können, stellt das mindestens eine Ultraschallsensorsignal Informationen unabhängig von den Beleuchtungsbedingungen bereit. Andererseits kann durch die Verwendung der semantischen Informationen, die in dem Kamerabild enthalten sind, die Anhängerkupplung identifiziert und detaillierter charakterisiert werden, als dies bei der Verwendung nur der Ultraschallsensordaten möglich wäre.
Folglich wird die Genauigkeit und Zuverlässigkeit der mindestens einen Kupplungsposition und/oder Kupplungsorientierung durch das Verfahren gemäß der Erfindung verbessert, insbesondere bei Szenarios mit wenig Licht.
Gemäß mehreren Ausführungsformen des Verfahrens zum Erkennen einer Anhängerkupplung wird eine räumliche Ultraschallkarte, insbesondere eine zweidimensionale räumliche Ultraschallkarte, erzeugt, insbesondere durch die mindestens eine Recheneinheit, abhängig von dem wenigstens einen Ultraschallsensorsignal. Die mindestens eine zweite Merkmalskarte wird abhängig von der Ultraschallkarte erzeugt.
Dazu kann wenigstens ein Encodermodul auf die Ultraschallkarte oder auf eine weitere Ultraschallkarte, die abhängig von der Ultraschallkarte erzeugt wird, angewendet werden.
Mit anderen Worten bestehen die Ultraschalldaten aus der Ultraschallkarte oder der weiteren Ultraschallkarte oder beinhalten diese. Die Ultraschallkarte kann beispielsweise in einer Draufsichtperspektive gegeben sein und die weitere Ultraschallkarte kann durch eine transformierte Ultraschallkarte gegeben sein, die durch die von der Draufsichtperspektive in eine Kamerabildebenenperspektive der Kamera transformierte gegeben ist..
Gemäß mehreren Ausführungsformen ist die Ultraschallkarte durch eine Vielzahl von Gitterwerten gegeben, wobei jeder Gitterwert einer entsprechenden Gitterzelle eines vordefinierten räumlichen Gitters in der Draufsichtperspektive entspricht, wobei für jede der Gitterzellen und für jedes Sender-Detektor-Paar des wenigstens einen Ultraschallsenders und des wenigstens einen Ultraschalldetektors eine entsprechende Wegstrecke berechnet wird und ein Signalwert abhängig von der Wegstrecke berechnet wird. Der Gitterwert der entsprechenden Gitterzelle wird abhängig von dem Signalwert berechnet. Dabei ist die Wegstrecke eine Wegstrecke von einer Position des Ultraschalls im Sender des Sender-Detektor-Paars über die Position der Gitterzelle zu einer Position des Ultraschalldetektors des Sender-Detektor-Paars. Der Signalwert ist ein Signalwert des Ultraschallsensorsignals, welches durch den Ultraschalldetektor des Sender-Detektor-Paars erzeugt wird.
Die Sender-Detektor-Paare können beispielsweise so verstanden werden, dass jeder Detektor des wenigstens einen Ultraschalldetektors mit jedem des mindestens einen Ultraschallsenders ein Sender-Detektor-Paar bildet, unabhängig davon, ob sie einen gemeinsamen Ultraschallsendeempfänger bilden. Bei n Ultraschallsendern und m Ultraschalldetektoren ergeben sich n*m Sender-Detektor-Paare.
Das Gitter ist insbesondere ein zweidimensionales Gitter. Beispielsweise können die Gitterzellen in einem Array von Zeilen und Spalten angeordnet sein und demzufolge als kartesisches oder rechteckiges Gitter aufgefasst werden. Es sind jedoch auch andere Umsetzungen möglich, zum Beispiel die Verwendung eines Polargitters, wobei jede Gitterzelle durch ein Intervall eines radialen Abstands und ein Winkelintervall gegeben ist.
Insbesondere entspricht, wie oben beschrieben, jeder Wert der Ultraschallsensorsignale einer bestimmten zurückgelegten Zeit und folglich einer bestimmten Wegstrecke. Daher kann das Ultraschallsignal bei der berechneten Wegstrecke von der Position des Ultraschallsenders zu der Gitterzelle zurück zu dem Ultraschalldetektor ausgewertet werden. Da die Auflösung der Ultraschallsensorsignale endlich ist, kann eine Interpolation der entsprechenden Werte durchgeführt werden, um das Ultraschallsensorsignal bei der berechneten Wegstrecke auszuwerten.
Es wird angemerkt, dass das räumliche Gitter in der Draufsichtperspektive in einem Real-Welt-Koordinatensystem, beispielsweise einem Koordinatensystem der Kamera oder des Fahrzeugs, definiert ist. Der Signalwert, der abhängig von der Wegstrecke berechnet wurde, kann daher derart verstanden werden, dass er das Vorhandensein oder die Abwesenheit eines Objekts an der Position in der Umgebung des Fahrzeugs, die durch die Gitterzelle gegeben ist, anzeigt.
Dass die beschriebenen Schritte für jede Gitterzelle und jedes Sender-Detektor-Paar durchgeführt werden, kann derart verstanden werden, dass eine bestimmte Gitterzelle ausgewählt wird und ein bestimmter Ultraschalldetektor des wenigstens einen Ultraschalldetektors ausgewählt wird. Die Wegstrecke wird dann für die ausgewählte Gitterzelle und den ausgewählten Ultraschalldetektor für jeden des wenigstens einen Ultraschallsenders berechnet und dann wird der entsprechende Signalwert berechnet. Diese Schritte werden dann für dieselbe Gitterzelle und alle anderen Ultraschalldetektoren des wenigstens einen Ultraschalldetektors wiederholt. Sodann werden diese Schritte erneut für alle anderen Gitterzellen wiederholt.
Falls weitere Ultraschallsender und weitere Ultraschalldetektoren involviert sind, die bei weiteren Sende- und Detektionsbändern arbeiten, können dieselben Schritte auch für diese ausgeführt werden. Ultraschalldetektoren und Ultraschallsender mit nicht passenden Sende- und Empfangsbändern werden jedoch nicht gepaart.
Gemäß mehrerer Implementierungen wird für jedes Sender-Detektor-Paar eine entsprechende Winkelgewichtungsfunktion bereitgestellt. Für jede Gitterzelle wird jeder Signalwert mit der entsprechenden Winkelgewichtungsfunktion ausgewertet an der Position der Gitterzelle multipliziert, um einen entsprechenden gewichteten Signalwert zu erhalten. Für jede Gitterzelle wird der Gitterwert abhängig von einer Summe der gewichteten Signalwerte, die für die entsprechende Gitterzelle erhalten wurden, berechnet.
Falls beispielsweise, abgesehen von dem wenigstens einen Ultraschallsender und dem wenigstens einen Ultraschalldetektor, mit passenden Sende- beziehungsweise Detektionsbändern keine weiteren Ultraschallsender und Ultraschalldetektoren involviert sind, kann der Gitterwert für eine gegebene Gitterzelle durch die Summe der gewichteten Signalwerte wie oben beschrieben gegeben sein. Andererseits, wenn weitere Ultraschallsender und Ultraschalldetektoren mit anderen Sende- beziehungsweise Detektionsbändern involviert sind, können weitere gewichtete Signalwerte für jeden Satz von weiteren Ultraschallsendern und weiteren Ultraschalldetektoren mit passenden Sende- beziehungsweise Detektionsbändern analog berechnet werden. Der Gitterwert ist dann durch eine Summe aller gewichteten Signalwerte und aller weiteren gewichteten Signalwerte gegeben, die für diese Gitterzelle berechnet wurden.
Die Winkelgewichtungsfunktion beschreibt zum Beispiel, wie sich die Amplitude des wenigstens einen Ultraschallsensorsignals typischerweise für verschiedene Winkel, insbesondere Polarwinkel in der Draufsichtperspektive, unterscheidet. Empirisches, experimentelles oder heuristisches Wissen kann verwendet werden, um die entsprechenden Winkelgewichtungsfunktionen zu definieren. Auf diese Weise kann die zweidimensionale Information der Ultraschallkarte aus dem wenigstens einen Ultraschallsensorsignal mit erhöhter Genauigkeit erhalten werden. Im Allgemeinen können die Winkelgewichtungsfunktionen für unterschiedliche Ultraschallsensorsignale und dementsprechend für unterschiedliche Ultraschalldetektoren verschieden sein. Die Winkelgewichtungsfunktion kann beispielsweise von wenigstens einer Beta-Verteilung abhängen.
Beispielsweise für einen direkten Signalpfad kann die entsprechende Winkelgewichtungsfunktion durch eine einzelne Beta-Verteilung gegeben sein, die bei dem zugehörigen Ultraschallsendeempfänger zentriert ist. Im Falle eines indirekten Signalpfads können zwei solche Beta-Verteilungen, die an unterschiedlichen Positionen entsprechend der zwei verschiedenen involvierten Ultraschallsendeempfängern zentriert sind, miteinander kombiniert werden, um die Winkelgewichtungsfunktion zu erhalten. Beispielsweise kann das Minimum der beiden Beta-Verteilungen an der entsprechenden Position verwendet werden oder ein Durchschnittswert und so weiter.
Die Beta-Verteilung kann beispielsweise gegeben sein durch $ƒ_{p, q} (x) ~ x^{p - 1} {(1 - x)}^{q - 1},$
insbesondere mit p = q = 2, so dass $ƒ_{2,2} (x) ~ x (1 - x),$
mit einem geeigneten Normierungsfaktor. Dabei bezeichnet x eine Größe, die dem Polarwinkel in der Draufsichtperspektive, insbesondere bezüglich einer Längsachse des entsprechenden Ultraschallsensors des Ultraschallsensorsystems, abhängt, insbesondere dazu proportional ist. Es hat sich gezeigt, dass auf diese Weise die tatsächliche Charakteristik des Ultraschallsensorsystems gut modelliert werden kann.
Gemäß mehreren Ausführungsformen wird ein Ultraschallkarten-Transformationsmodul auf die Ultraschallkarte angewendet, um die Ultraschallkarte von der Draufsichtperspektive in die Perspektive der Kameraebene zu transformieren. Die mindestens eine zweite Merkmalskarte wird erzeugt, indem mindestens das zweite Encodermodul auf die transformierte Ultraschallkarte angewandt wird.
Das Modul zur Transformation der Ultraschallkarte kann ein nicht trainierbares Vorverarbeitungsmodul sein und beispielsweise nicht Teil des neuronalen Netzes sein. Um die Ultraschallkarte von der Draufsichtperspektive in die Perspektive der Kamerabildebene zu transformieren, kann ein vordefiniertes Kameramodell für die Kamera verwendet werden. Entsprechende Funktionen sind aus der Bildverarbeitung bekannt. Beispielsweise können entsprechende Funktionen der offenen CV-Bibliothek, wie beispielsweise die Fisheye-Funktion, verwendet werden.
Entsprechende Modelle für verschiedene Arten von Fischaugen-Kameras oder Lochkameras oder andere Arten von Kameras sind verfügbar.
Gemäß verschiedenen Ausführungsformen beinhaltet das Erzeugen der mindestens einen ersten Merkmalskarte die Anwendung des ersten Encodermoduls auf das Kamerabild und die Anwendung eines Self-Attention-Moduls des neuronalen Netzwerks auf eine Ausgabe des ersten Encodermoduls.
Folglich werden die Merkmale des Kamerabilds mittels des ersten Encodermoduls extrahiert und die extrahierten Merkmale werden durch Self-Attention weiter verbessert. Mit anderen Worten wird mindestens eine vorläufige Merkmalskarte durch Anwenden des ersten Encodermoduls auf das Kamerabild erzeugt und das Self-Attention-Modul wird auf die mindestens eine vorläufige Merkmalskarte angewandt, um die mindestens eine erste Merkmalskarte zu erzeugen. Mit anderen Worten beinhaltet das Anwenden wenigstens des ersten Encodermoduls auf das Kamerabild das Anwenden des ersten Encodermoduls und des Self-Attention-Moduls wie beschrieben oder besteht daraus. Wie oben erwähnt kann das Anwenden des ersten Encodermoduls die Anwendung einer oder mehrerer faltender Schichten oder entsprechender Faltungskerne involvieren. Diese Faltungskerne können hauptsächlich lokale Informationen in Betracht ziehen. Das Self-Attention-Modul kann daher globale Referenzen implementieren und dadurch die extrahierten Merkmale verbessern.
Eine Möglichkeit, um Self-Attention-Modul in CNN-basierten Architekturen zu implementieren, wird in der Veröffentlichung X. Wang et.al.: „Non-local neural networks", 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 7794-7803 beschrieben.
Gemäß mehreren Ausführungsformen wird ein Bereichsvorschlagsnetzwerkmodul, RPN-Modul (Englisch: „region proposal network“), des neuronalen Netzwerks auf den fusionierten Satz von Merkmalskarten angewendet, um die Regressionseingangsdaten zu erzeugen.
Mit anderen Worten bestehen die Regressionseingangsdaten aus einer Ausgabe des RPN-Moduls oder hängen davon ab. Das RPN-Modul kann beispielsweise als vollständig faltendes Netzwerk implementiert sein, das gleichzeitig Objektbegrenzungen und Objekthaftigkeitskennzahlen (englisch: „objectness scores“) an jeder Position prädiziert. RPNs können entworfen sein, um effizient Bereichsvorschläge mit einem weiten Bbereich von Skalierungen und Zeitenverhältnissen zu prädizieren. Beispielsweise können Ankerboxen verwendet werden, die als Referenzen bei vielfältigen Skalen und Seitenverhältnissen dienen. Das Schema kann als Pyramide von Regressionsbezügen verstanden werden, was es vermeidet, Fehler oder Filter bei vielfachen Skalen oder Seitenverhältnissen zu nummerieren.
RPNs werden beispielsweise in der Publikation S. Ren et al.: „Faster R-CNN: towards a real-time object detection with region proposal networks“, arXiv:1506.01497v2 besch rieben.
Gemäß mehreren Ausführungsformen wird ein Merkmalsverbesserungsmodul des neuronalen Netzwerks, das eine oder mehrere faltende Schichten beinhaltet, auf eine Ausgabe des Bereichsvorschlagsnetzwerkmoduls angewendet, um die Regressionseingangsdaten zu erzeugen.
Mit anderen Worten hängen die Regressionseingabedaten von der Ausgabe des Merkmalsverbesserungsmoduls ab oder bestehen aus der Ausgabe des Merkmalsverbesserungsmoduls.
Durch die Anwendung des Merkmalsverbesserungsmoduls wird ein Bildverbesserungs- oder Merkmalsverbesserungsalgorithmus auf die Ausgabe des Bereichsvorschlagsnetzwerks angewandt. Auf diese Weise können die gesamten und/oder lokalen Charakteristika des Bildes betont werden. Dadurch kann ein unklares Bild klarer gemacht werden, Merkmale, die nicht von Interesse sind, können unterdrückt werden, bestimmte Merkmale von Interesse können verstärkt werden und/oder der Unterschied zwischen den Merkmalen verschiedener Objekte in dem Bild kann vergrößert werden. Folglich wird die Bildqualität oder Merkmalsqualität verbessert, die verfügbare Information wird angereichert, die Bildinterpretation und -erkennung kann verbessert werden, so dass das mindestens eine Regressionsmodul die mindestens eine Kupplungsposition und/oder Kupplungsorientierung genauer schätzen kann.
Gemäß verschiedenen Ausführungsformen wird zum Schätzen der mindestens einen Kupplungsposition eines des mindestens einen Regressionsmoduls auf die Regressionseingangsdaten angewandt, um einen Ausgabevektor zu erzeugen. Der Ausgabevektor beinhaltet zweidimensionale Bildkoordinaten oder Pixelkoordinaten, welche die Kupplungsposition in dem Kamerabild abschätzen. Alternativ oder zusätzlich beinhaltet der Ausgabevektor dreidimensionale Realweltkoordinaten, die die Kupplungsposition in einem Referenzkoordinatensystem abschätzen.
Die zweidimensionalen Bildkoordinaten können beispielsweise durch entsprechende Pixelkoordinaten oder Pixelpositionen in dem Kamerabild gegeben sein. Die Realweltkoordinaten können in dem Fahrzeugkoordinatensystem oder einem anderen Referenzkoordinatensystem gegeben sein.
Mit anderen Worten kann die wenigstens eine Kupplungsposition die zweidimensionalen Bildkoordinaten und/oder dreidimensionalen Realweltkoordinaten beinhalten.
Gemäß verschiedenen Ausführungsformen wird zum Abschätzen der Kupplungsorientierung ein weiteres des mindestens einen Regressionsmoduls auf die Regressionseingabedaten angewandt, um den Winkel zwischen den Längsrichtungen des Fahrzeugs und der Anhängerkupplung abzuschätzen.
Gemäß verschiedenen Ausführungsformen beinhaltet der Ausgabevektor eine Wahrscheinlichkeit für die Präsenz der Anhängerkupplung in der Umgebung.
Die Wahrscheinlichkeit für das Vorhandensein der Anhängerkupplung in der Umgebung kann als eine Wahrscheinlichkeit verstanden werden, die durch die jeweiligen Informationen im Kamerabild und in den Ultraschalldaten angegeben wird.
Beispielsweise kann das mindestens eine Regressionsmodul ein erstes Regressionsmodul zum Erzeugen des Ausgabevektors wie beschrieben und ein zweites Regressionsmodul zum Abschätzen der Kupplungsorientierung wie beschrieben umfassen oder daraus bestehen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zur Verfolgung einer Anhängerkupplung in einer Umgebung eines Fahrzeugs angegeben. Dabei wird eine Zeitreihe von Kupplungspositionen und/oder eine Zeitreihe von Kupplungsorientierungen der Anhängerkupplung erzeugt, indem die Schritte, insbesondere alle Schritte, einer Ausführungsform eines Verfahrens zum Erkennen einer Anhängerkupplung gemäß der Erfindung wiederholt für eine Vielzahl von aufeinanderfolgenden Frames durchgeführt wird. Mindestens eine verfolgte Kupplungsposition wird durch Anwendung eines rekurrenten neuronalen Netzwerkmoduls, RNN-Moduls, des neuronalen Netzwerks auf die Zeitreihe von Kupplungspositionen bestimmt und/oder eine verfolge Kupplungsorientierung wird durch Anwendung des RNN-Moduls des neuronalen Netzwerks auf die Zeitreihe von Kupplungsorientierungen bestimmt.
Die Vielzahl aufeinanderfolgender Frames kann beispielsweise Kameraframes der Kamera entsprechen. Die Erfassung des wenigstens einen Ultraschallsensorsignals und/oder Erfassung der Ultraschalldaten kann an die Kameraframes angepasst sein. Mit anderen Worten wird für jeden Kameraframe eine Ultraschallkarte, insbesondere genau eine Ultraschallkarte, wie beschrieben erzeugt.
Das RNN-Modul kann ein RNN zur Verfolgung der Kupplungsposition und der Kupplungsorientierung beinhalten. Alternativ kann das RNN-Modul zwei separate RNNs für beide Aufgaben beinhalten.
Beispielsweise kann das RNN-Modul ein langes Kurzzeitgedächtnis, LSTM (Englisch: „long short term memory“) beinhalten. Ein LSTM ist eine Art von RNN, das dazu in der Lage ist, langfristige Abhängigkeiten zu lernen. LSTMs sind beispielsweise explizit dazu entworfen, das Langzeitabhängigkeitsproblem zu vermeiden. Sich Informationen für lange Zeitdauern zu merken, ist ein vorteilhaftes Verhalten von LSTMs. Beispielsweise beinhaltet das LSTM Gatter, die das LSTM veranlassen, Informationen aus der Zelle zu entfernen oder zu der Zelle hinzuzufügen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Unterstützen der Ankopplung eines Fahrzeugs an eine Anhängerkupplung eines Anhängers in einer Umgebung des Fahrzeugs angegeben. Dabei wird ein Verfahren zum Erkennen einer Anhängerkupplung gemäß der Erfindung ausgeführt und das Fahrzeug wird abhängig von der wenigstens einen Kupplungsposition und/oder Kupplungsorientierung wenigstens teilweise automatisch zu der Anhängerkupplung geführt.
In einigen Ausführungsformen wird ein Verfahren zur Verfolgung einer Anhängerkupplung gemäß der Erfindung durchgeführt und das Fahrzeug wird abhängig von der mindestens einen verfolgten Kupplungsposition und/oder der verfolgten Kupplungsorientierung wenigstens teilweise automatisch zu der Anhängerkupplung geführt.
Um das Fahrzeug wenigstens teilweise automatisch zu der Anhängerkupplung zu führen, kann die mindestens eine Recheneinheit beispielsweise mindestens ein Steuersignal zum wenigstens teilweise automatischen Führen des Fahrzeugs abhängig von der mindestens einen Kupplungsposition und/oder Kupplungsorientierung oder abhängig von der wenigstens einen verfolgten Kupplungsposition und/oder verfolgten Kupplungsorientierung erzeugen.
Das mindestens eine Steuersignal kann beispielsweise einem oder mehreren Aktuatoren des Fahrzeugs bereitgestellt werden, die eine Quer- und/oder Längssteuerung des Fahrzeugs automatisch oder teilweise automatisch beeinflussen oder durchführen.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug angegeben. Das elektronische Fahrzeugführungssystem beinhaltet eine Kamera für das Fahrzeug, die dazu eingerichtet ist, ein Kamerabild, das eine Anhängerkupplung eines Anhängers in einer Umgebung des Fahrzeugs abbildet zu erzeugen, insbesondere wenn sie an dem Fahrzeug montiert ist. Das elektronische Fahrzeugführungssystem beinhaltet ein Speichergerät, das ein trainiertes künstliches neuronales Netzwerk speichert und mindestens eine Recheneinheit, die dazu eingerichtet ist, mindestens eine erste Merkmalskarte durch Anwendung wenigstens eines ersten Encodermoduls des neuronalen Netzwerks auf das Kamerabild zu erzeugen. Das elektronische Fahrzeugführungssystem beinhaltet ein wenigstens einen Ultraschallsender, der dazu eingerichtet ist, Ultraschallimpulse in die Umgebung zu emittieren und wenigstens einen Ultraschalldetektor, der dazu eingerichtet ist, mindestens ein Ultraschallsensorsignal abhängig von reflektierten Anteilen der emittierten Ultraschallimpulse zu erzeugen.
Die mindestens eine Recheneinheit ist dazu eingerichtet, mindestens eine zweite Merkmalskarte durch Anwendung mindestens eines zweiten Encodermoduls des neuronalen Netzwerks auf Ultraschalldaten, die von dem wenigstens einen Ultraschallsensorsignal abhängen, zu erzeugen. Die mindestens eine Recheneinheit ist dazu eingerichtet, einen fusionierten Satz von Merkmalskarten durch Fusionieren der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte zu erzeugen. Die mindestens eine Recheneinheit ist dazu eingerichtet, mindestens eine Kupplungsposition und/oder eine Kupplungsorientierung der Anhängerkupplung durch Anwenden wenigstens eines Regressionsmoduls des neuronalen Netzwerks auf Regressionseingangsdaten, die von dem fusionierten Satz von Merkmalskarten abhängen, zu erzeugen.
Unter einem elektronischen Fahrzeugführungssystem kann ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom zu führen, insbesondere ohne dass ein Eingriff in eine Steuerung durch einen Fahrer erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen, wie Lenk, Brems- und/oder Beschleunigungsmanöver, die Beobachtung und Erfassung des Straßenverkehrs sowie entsprechende Reaktionen automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus des Kraftfahrzeugs nach Stufe 5 der Klassifizierung gemäß SAE J3016 implementieren. Unter einem elektronischen Fahrzeugführungssystem kann auch ein Fahrerassistenzsystem (englisch: „advanced driver assistance system“, ADAS) verstanden werden, welches den Fahrer beim teilweise automatisierten oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 gemäß der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich „SAE J3016“ auf die entsprechende Norm in der Version vom Juni 2018.
Die wenigstens teilweise automatische Fahrzeugführung kann es daher beinhalten, das Fahrzeug gemäß eines vollautomatischen oder vollautonomen Fahrmodus der Stufe 5 nach SAE J3016 zu führen. Die wenigstens teilweise automatische Fahrzeugführung kann auch beinhalten, das Fahrzeug gemäß eines teilweise automatisierten oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 nach SAE J3016 zu führen.
Gemäß mehreren Ausführungsformen des elektronischen Fahrzeugführungssystems ist die mindestens eine Recheneinheit dazu eingerichtet, Informationen zur Unterstützung eines Fahrers des Fahrzeugs zum Führen des Fahrzeugs zu der Anhängerkupplung abhängig von der mindestens einen Kupplungsposition und/oder Kupplungsorientierung und/oder der mindestens einen verfolgten Kupplungsposition und/oder der verfolgten Kupplungsorientierung zu erzeugen.
Gemäß mehreren Ausführungsformen des elektronischen Fahrzeugführungssystems ist die wenigstens eine Recheneinheit dazu eingerichtet, eines oder mehrere Steuersignale zum automatischen oder halbautomatischen Führen des Fahrzeugs zu der Anhängerkupplung abhängig von der mindestens einen Kupplungsposition und/oder Kupplungsorientierung und/oder der mindestens einen verfolgten Kupplungsposition und/oder der verfolgten Kupplungsorientierung zu erzeugen.
Unter einer Recheneinheit kann insbesondere ein Datenverarbeitungsgerät verstanden werden, das einen Verarbeitungsschaltkreis enthält. Die Recheneinheit kann also insbesondere Daten zur Durchführung von Rechenoperationen verarbeiten. Darunter fallen gegebenenfalls auch Operationen, um indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Umsetzungstabelle, LUT (englisch: „look-up table“), durchzuführen.
Die Recheneinheit kann insbesondere einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise enthalten, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate-Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“). Die Recheneinheit kann auch einen oder mehrere Prozessoren, beispielsweise einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.
In verschiedenen Ausführungsbeispielen beinhaltet die Recheneinheit eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten.
Eine Speichereinheit kann als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer programmierbarer Festwertspeicher, EPROM (englisch: „erasable programmable read-only memory“), als elektrisch löschbarer programmierbarer Festwertspeicher, EEPROM (englisch: „electrically erasable programmable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), ausgestaltet sein.
Ist im Rahmen der vorliegenden Offenbarung die Rede davon, dass eine Komponente des erfindungsgemäßen elektronischen Fahrzeugführungssystems, insbesondere die Recheneinheit des elektronischen Fahrzeugführungssystems dazu eingerichtet, ausgebildet, ausgelegt, oder dergleichen ist, eine bestimmte Funktion auszuführen oder zu realisieren, eine bestimmte Wirkung zu erzielen oder einem bestimmten Zweck zu dienen, so kann dies derart verstanden werden, dass die Komponente, über die prinzipielle oder theoretische Verwendbarkeit oder Eignung der Komponente für diese Funktion, Wirkung oder diesen Zweck hinaus, durch eine entsprechende Anpassung, Programmierung, physische Ausgestaltung und so weiter konkret und tatsächlich dazu in der Lage ist, die Funktion auszuführen oder zu realisieren, die Wirkung zu erzielen oder dem Zweck zu dienen.
Weitere Ausführungsformen des elektronischen Fahrzeugführungssystems gemäß der Erfindung folgen direkt aus den verschiedenen Ausführungsformen des Verfahrens gemäß der Erfindung und umgekehrt. Insbesondere können einzelne Merkmale und zugehörige Erklärungen sowie Vorteile, die sich auf die verschiedenen Ausführungsformen des Verfahrens gemäß der Erfindung beziehen, analog auf entsprechende Ausführungsformen des elektronischen Fahrzeugführungssystems gemäß der Erfindung übertragen werden. Insbesondere ist das elektronische Fahrzeugführungssystem gemäß der Erfindung entworfen oder programmiert, das Verfahren gemäß der Erfindung auszuführen. Insbesondere führt das elektronische Fahrzeugführungssystem gemäß der Erfindung das Verfahren gemäß der Erfindung aus.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben, das ein elektronisches Fahrzeugführungssystem gemäß der Erfindung beinhaltet. Dabei sind die Kamera und das Ultraschallsensorsystem an dem Fahrzeug montiert.
Gemäß einem weiteren Aspekt der Erfindung wird ein Computerprogramm aufweisend Befehle angegeben. Wenn die Befehle durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere durch die mindestens eine Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren zur Erkennung einer Anhängerkupplung gemäß der Erfindung oder ein Verfahren zur Verfolgung einer Anhängerkupplung gemäß der Erfindung oder ein Verfahren zur Unterstützung der Ankopplung eines Fahrzeugs an eine Anhängerkupplung gemäß der Erfindung durchzuführen.
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium angegeben. Das computerlesbare Speichermedium speichert ein Computerprogramm gemäß der Erfindung.
Das Computerprogramm und das computerlesbare Speichermedium können als entsprechende Computerprogrammprodukte mit den Befehlen bezeichnet werden.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen von der Erfindung umfasst sein. Es können insbesondere auch Ausführungen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Es können darüber hinaus Ausführungen und Merkmalskombinationen von der Erfindung umfasst, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Die Erfindung wird im Folgenden anhand konkreter Ausführungsbeispiele und zugehöriger schematischer Zeichnungen näher erläutert. In den Figuren können gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen sein. Die Beschreibung gleicher oder funktionsgleicher Elemente wird gegebenenfalls nicht notwendigerweise bezüglich verschiedener Figuren wiederholt.
In den Figuren zeigen:

1 schematisch ein Kraftfahrzeug gemäß einer beispielhaften Ausführungsform der Erfindung;
2 schematisch ein Kamerabild, das einen Anhänger abbildet;
3 schematisch ein Blockdiagramm, das eine beispielhaft Ausführungsform eines Verfahrens zur Verfolgung einer Anhängerkupplung gemäß der Erfindung darstellt; und
4 schematisch einen Teil eines Verfahrens gemäß einer weiteren beispielhaften Ausführungsform der Erfindung zur Verfolgung einer Anhängerkupplung.

1 zeigt eine beispielhafte Ausführungsform eines Fahrzeugs 1 gemäß der Erfindung. Das Fahrzeug 1 beinhaltet eine beispielhaft Ausführungsform eines elektronischen Fahrzeugführungssystems 10 gemäß der Erfindung.
Das elektronische Fahrzeugführungssystem 10 beinhaltet eine Kamera 5, die an dem Fahrzeug 1 montiert ist, beispielsweise eine rückwärtsgewandte Kamera. Das elektronische Fahrzeugführungssystem 10 beinhaltet ferner ein Ultraschallsensorsystem, das einen oder mehrere Ultraschallsensoren 6 beinhaltet. Jeder Ultraschallsensor 6 kann einen Ultraschallemitter 6a und einen Ultraschalldetektor 6b aufweisen. Es sind jedoch auch andere Implementierungen denkbar. Der Ultraschallsensor 6 ist beispielsweise an einem hinteren Ende an dem Fahrzeug 1 montiert, beispielsweise an oder in einem hinteren Stoßfänger des Fahrzeugs 1. Insbesondere überlappt ein gesamtes Sichtfeld des Ultraschallsensorsystems wenigstens teilweise mit dem Sichtfeld der Kamera 5.
Das elektronische Fahrzeugführungssystem 10 beinhaltet ferner ein Speichergerät (nicht gezeigt), das ein trainiertes künstliches neuronales Netzwerk 11 (siehe beispielsweise 3) speichert. Das elektronische Fahrzeugführungssystem 10 beinhaltet auch eine Recheneinheit 4, die das künstliche neuronale Netzwerk 11 auf Eingabedaten anwenden kann, beispielsweise auf ein Kamerabild 7 (siehe beispielsweise 2 und 3) und eine Ultraschallkarte 25 (siehe beispielsweise 2 und 4), um eine Kupplungsposition und/oder Kupplungsorientierung einer Anhängerkupplung 3 eines Anhängers 2 in der Umgebung des Fahrzeugs 1 abzuschätzen oder zu verfolgen. Die Recheneinheit 4 kann dann mindestens ein Steuersignal für einen oder mehrere Aktuatoren (nicht gezeigt) des Fahrzeugs 1 abhängig von der geschätzten oder verfolgten Kupplungsposition und/oder Kupplungsorientierung erzeugen, um das Fahrzeug 1 wenigstens teilweise automatisch zu der Anhängerkupplung 3 zu führen.
Insbesondere kann das elektronische Fahrzeugführungssystem 10 eine beispielhafte Ausführungsform eines Verfahrens zur Verfolgung einer Anhängerkupplung gemäß der Erfindung durchführen.
3 zeigt ein schematisches Blockdiagramm, das ein solches Verfahren darstellt sowie das trainierte künstliche neuronales Netzwerk 11.
Gemäß dem Verfahren erzeugt die Kamera 5 für jeden Frame ein entsprechendes Kamerabild 7, das die Anhängerkupplung 3 abbildet. Das Ultraschallsensorsystem emittiert einen oder mehrere Ultraschallimpulse in die Umgebung, detektiert reflektierte Anteile der emittierten Ultraschallimpulse und erzeugt mindestens ein Ultraschallsignal 8 abhängig von den detektierten reflektierten Anteilen.
Die Recheneinheit kann, insbesondere für jeden Frame, eine räumliche Ultraschallkarte 25 in einer Draufsichtperspektive abhängig von dem wenigstens einen Ultraschallsignal 8 erzeugen, wobei die Ultraschallkarte 25 eine zweidimensionale Amplitudenverteilung in der Draufsichtperspektive beinhaltet. Dazu kann die Recheneinheit 4 ein Software-Modul 9, das auch in dem Speichergerät gespeichert sein kann, auf das wenigstens eine Ultraschallsensorsignal 8 anwenden. Für weitere Einzelheiten wird auf die Erläuterungen bezüglich 4 weiter unten verwiesen.
Die Recheneinheit 4 wendet das neuronale Netzwerk 11 auf Eingangsdaten an, die die Ultraschallkarte 25 und das Kamerabild 7 beinhalten. Insbesondere erzeugt die Recheneinheit 4 mindestens eine erste Merkmalskarte durch Anwendung eines ersten Encodermoduls 15 des neuronalen Netzwerks 11 auf das Kamerabild 7 und, optional, durch Anwendung eines Self-Attention-Moduls 16 des neuronalen Netzwerks 11 auf mindestens eine vorläufige Merkmalskarte, die als Ausgabe des ersten Encodermoduls 15 erhalten wird.
Die Recheneinheit 4 erzeugt mindestens eine zweite Merkmalskarte durch Anwendung eines zweiten Encodermoduls 14 des neuronalen Netzwerks auf die Ultraschallkarte 25 und einen fusionierten Satz von Merkmalskarten durch Anwendung eines Verkettungsmoduls 17 zur Verkettung der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte. Da die Ultraschalldaten relativ dünn besetzt sind, konvertiert das zweite Encodermodul 14 diese dünn besetzten Daten in dicht besetzte Daten, dargestellt durch die mindestens eine zweite Merkmalskarte.
Beispielsweise können das erste Encodermodul 15 und das zweite Encodermodul 14 jeweils eine Reihe von faltenden Schichten zur tiefen Merkmalsextraktion beinhalten. Die Art des Encoders kann basierend auf den Begrenzungen der eingebetteten Plattform gewählt werden. Beispielsweise können Standard-Encoderfamilien sowie ResNet, VGG, Inception verwendet werden.
Beispielsweise wendet die Recheneinheit 4 ein Bereichsvorschlagsnetzwerkmodul, RPN-Modul, 18 des neuronalen Netzwerks 11 auf den fusionierten Satz von Merkmalskarten an und ein Merkmalsverbesserungsmodul 19 des neuronalen Netzwerks 11, das eines oder mehrere Faltungsschichten beinhaltet, auf eine Ausgabe des RPN-Moduls 18, um Regressionseingangsdaten zu erzeugen.
Die Recheneinheit 4 schätzt mindestens eine Kupplungsposition und/oder eine Kupplungsorientierung der Anhängerkupplung 3 durch Anwendung mindestens eines Regressionsmoduls 20, 21 des neuronalen Netzwerks 11 auf die Regressionseingangsdaten.
Zum Abschätzen der mindestens einen Kupplungsposition kann die Recheneinheit 4 ein erstes Regressionsmodul 20 auf die Regressionseingangsdaten anwenden, um einen Ausgabevektor 23 zu erzeugen. Ein erster Eintrag des Ausgabevektors 23 kann beispielsweise der Wahrscheinlichkeit für die Präsenz der Anhängerkupplung 3 in der Umgebung entsprechen. Ein zweiter und ein dritter Eintrag des Ausgabevektors 23 kann zweidimensionalen Bildkoordinaten oder Pixelkoordinaten entsprechen, die die Kupplungsposition in dem Kamerabild 7 schätzen. Ein vierter, ein fünfter und ein sechster Eintrag des Ausgabevektors 23 können beispielsweise dreidimensionalen Realweltkoordinaten entsprechen, die die Kupplungsposition in einem Referenzkoordinatensystem, beispielsweise einem Fahrzeugkoordinatensystem, das starr mit dem Fahrzeug 1 verbunden ist, abschätzen.
Um die Kupplungsorientierung zu schätzen, kann die Recheneinheit 4 ein zweites Regressionsmodul 21 auf die Regressionseingangsdaten anwenden. Das zweite Regressionsmodul 21 kann beispielsweise einen Kupplungswinkel ausgeben, den die Längsrichtung der Anhängerkupplung 3 mit einer Koordinatenachse des Referenzkoordinatensystems einschließt, die beispielsweise parallel zu einer Längsachse des Fahrzeugs 1 ist.
Auf diese Weise kann eine Zeitreihe von Ausgabevektoren 23 und eine Zeitreihe von Kupplungswinkeln durch Durchführung der beschriebenen Schritte für jeden Frame berechnet werden. Die Recheneinheit 4 kann die Zeitreihe von Ausgabevektoren und eine Zeitreihe von Kupplungswinkeln einem LSTM 22 des neuronalen Netzwerks 11 zuführen, das dann den verfolgten Ausgabevektor 12 und den verfolgten Kupplungswinkel 13 ausgibt.
Um das neuronale Netzwerk 11 zu trainieren, können konventionelle überwachte Trainingsverfahren verwendet werden. Beispielsweise können alle trainierbaren Module des neuronalen Netzwerks 11 gemeinsam in einer Ende-zu-Ende-Weise trainiert werden. Es ist jedoch auch möglich, einige oder alle Module separat zu trainieren.
Beispielsweise kann eine kombinierte Verlustfunktion verwendet werden $L = α * L_{1} + (1 - α) L_{2}$
mit einer ersten Verlustfunktion L₁, welche den Verlust zum Abschätzen des Ausgabevektors 23 berücksichtigt, sowie einer zweiten Verlustfunktion L₂, welche den Verlust zum Abschätzen des Kupplungswinkels berücksichtigt und wobei 0 < α < 1 eine Konstante ist.
Die erste und die zweite Verlustfunktion L₁, L₂ können aus bekannten Regressionsverlusten ausgewählt werde, so wie ein mittlerer quadratischer Verlust. Es kann jedoch Gegenstand von Experimenten sein, herauszufinden, welche Verlustfunktionen die besten Ergebnisse liefern.
4 zeigt schematisch, wie die Ultraschallkarte 25, die die Umgebung des Fahrzeugs 1 darstellt, in der Draufsichtperspektive, insbesondere in einem Fahrzeugkoordinatensystem, berechnet wird, wobei der Mittelpunkt der Hinterachse des Fahrzeugs 1 im Ursprung des Koordinatensystems liegt. Die jeweiligen Positionen und Ausrichtungen der Ultraschallsensoren 6 sind vorbestimmt und bekannt.
Es kann ein Gitter erzeugt werden, das in etwa der Größe des Sichtfeldes der Ultraschallsensoren 6 entspricht und dessen Gitterzellengröße klein genug ist, um eine ausreichend hohe Auflösung zu bieten und dennoch mit der Abstandsauflösung gemäß dem mindestens einen Ultraschallsensorsignal 8 vergleichbar ist. Beispielsweise können quadratische Gitterzellen mit einer Seitenlänge von 1 cm verwendet werden. Für jede der Gitterzellen und für jedes Sender-Detektor-Paar des mindestens einen Ultraschallsensors 6 wird eine entsprechende Wegstrecke von einer Position des jeweiligen Ultraschallsenders über eine Position der Gitterzelle zu einer Position des jeweiligen Ultraschalldetektors berechnet. Abhängig von der Wegstrecke wird ein Signalwert des Ultraschallsensorsignals 8 berechnet, das von dem jeweiligen Ultraschalldetektor erzeugt wird.
Für jedes Sender-Detektor-Paar wird jeweils eine Winkelgewichtungsfunktion 24 bereitgestellt. Für jede Gitterzelle wird jeder Signalwert mit der jeweiligen Winkelgewichtungsfunktion 24 multipliziert, die an der Position der Gitterzelle ausgewertet wird, um einen jeweiligen gewichteten Signalwert zu erhalten. Für jede Gitterzelle wird ein Gitterwert als Summe der gewichteten Signalwerte berechnet, die für die jeweilige Gitterzelle erhalten werden. Die Gitterwerte aller Gitterzellen ergeben die Ultraschallkarte 25. In einigen Ausführungsformen kann die Ultraschallkarte 25 in die Kamerabildebeneperspektive transformiert werden, und die Recheneinheit 4 erzeugt mindestens eine zweite Merkmalskarte, indem sie das zweite Encodermodul 14 auf die transformierte Ultraschallkarte anwendet.
In einem vereinfachten instruktiven Beispiel kann man beispielsweise davon ausgehen, dass es nur zwei Ultraschallsensoren gibt. Man hat einen ersten Ultraschallsensor (E1, D1) mit einem ersten Ultraschallsender E1 und einem ersten Ultraschalldetektor D1 sowie einen zweiten Ultraschallsensor (E2, D2) mit einem zweiten Ultraschallsender E2 und einem zweiten Ultraschalldetektor D2. D1 erzeugt dann ein erstes Ultraschallsignal S1 und D2 ein zweites Ultraschallsignal S2. Betrachtet man eine Gitterzelle G, so hat man im Prinzip vier Wegstrecken, nämlich r11 von E1 nach G zu D1, r12 von E1 nach G zu D2, r21 von E2 nach G zu D1 und r22 von E2 nach G zu D2.
Dann wird S1 bei r11 und bei r21 ausgewertet, was entsprechende Signalwerte S1(r11), S1 (r21) ergibt, wobei die verfügbaren Werte von S1 entsprechend interpoliert werden können. Analog dazu wird S2 bei r12 und bei r22 ausgewertet, wobei sich entsprechende Signalwerte S2(r12), S2(r22) ergeben, wobei die vorhandenen Werte von S2 interpoliert werden können. Ferner kann eine erste Winkelgewichtungsfunktion, die dem ersten Ultraschallsendeempfänger (E1, D1) an der Position G zugeordnet ist, durch F1 und eine zweite Winkelgewichtungsfunktion, die dem zweiten Ultraschallsendeempfänger (E2, D2) an der Position G zugeordnet ist, durch F2 gegeben sein.
Der Gitterwert bei G kann dann beispielsweise als $S 1 (r 11) * F 1 + S 1 (r 21) * min (F 1, F 2) + S 2 (r 22) * F 2 + S 2 (r 12) * min (F 1, F 2)$
berechnet werden, wobei „min“ den Minimalwert der beiden Winkelgewichtungsfunktionen bezeichnet. Alternativ kann man die Winkelbewertungsfunktionen auch anders kombinieren, was beispielsweise in dem Gitterwert bei G $S 1 (r 11) * F 1 + S 1 (r 21) * F 1^{1 / 2} * F 2^{1 / 2} + S 2 (r 22) * F 2 + S 2 (r 12) * F 1^{1 / 2} * F 2^{1 / 2}$
resultiert.
Wie beschrieben, insbesondere mit Bezug auf die Figuren, erlauben es verschiedene Ausführungsformen der Erfindung, ein tiefes multimodales Mehraufgabenlernnetzwerk zur robusten Anhängerkupplungslokalisierung bei wenig Licht, zur Anhängerwinkelabschätzung und -verfolgung zu implementieren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2019/0016264 A1 [0004]

Zitierte Nicht-Patentliteratur

X. Wang et.al.: „Non-local neural networks“, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 7794-7803 [0050]

Claims

Verfahren zum Erkennen einer Anhängerkupplung (3) in einer Umgebung eines Fahrzeugs (1), wobei ein die Anhängerkupplung (3) darstellendes Kamerabild (7) von einer Kamera (5) des Fahrzeugs (1) erzeugt wird, dadurch gekennzeichnet, dass - mindestens eine erste Merkmalskarte erzeugt wird, indem mindestens ein erstes Encodermodul (15) eines trainierten künstlichen neuronalen Netzwerks (11) auf das Kamerabild (7) angewendet wird; - Ultraschallimpulse von wenigstens einem Ultraschallsender (6a) des Fahrzeugs (1) in die Umgebung emittiert wird und mindestens ein Ultraschallsensorsignal (8) durch wenigstens einen Ultraschalldetektor (6b) des Fahrzeugs (1) abhängig von reflektierten Anteilen der emittierten Ultraschallimpulse erzeugt wird; - mindestens eine zweite Merkmalskarte durch Anwendung mindestens eines zweiten Encodermoduls (14) des neuronalen Netzwerks (11) auf Ultraschalldaten, die von dem mindestens einen Ultraschallsensorsignal (8) abhängen, erzeugt wird; - ein fusionierter Satz von Merkmalskarten durch Fusionieren der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte erzeugt wird; - mindestens eine Kupplungsposition und/oder eine Kupplungsorientierung der Anhängerkupplung (3) geschätzt wird, indem mindestens ein Regressionsmodul (20, 21) des neuronalen Netzes (11) auf Regressionseingabedaten angewendet wird, die von dem fusionierten Satz von Merkmalskarten abhängen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine räumliche Ultraschallkarte (25) abhängig von dem mindestens einen Ultraschallsensorsignal (8) erzeugt wird und die mindestens eine zweite Merkmalskarte abhängig von der Ultraschallkarte (25) erzeugt wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Ultraschallkarte (25) durch eine Vielzahl von Gitterwerten gegeben ist, wobei jeder Gitterwert einer entsprechenden Gitterzelle eines vordefinierten räumlichen Gitters in einer Draufsichtperspektive entspricht, wobei für jede der Gitterzellen und für jedes Sender-Detektor-Paar des mindestens einen Ultraschallsenders (6a) und des mindestens einen Ultraschalldetektors (6b) - eine entsprechende Wegstrecke von einer Position des Ultraschallsenders (6a) des Sender-Detektor-Paares über eine Position der Gitterzelle zu einer Position des Ultraschalldetektors (6b) des Sender-Detektor-Paares berechnet wird; - ein Signalwert des Ultraschallsensorsignals (8), das von dem Ultraschalldetektor (6b) des Sender-Detektor-Paares erzeugt wird, abhängig von der Wegstrecke berechnet wird; und - der Gitterwert der Gitterzelle abhängig von dem Signalwert berechnet wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass - für jedes Sender-Detektor-Paar jeweils eine Winkelgewichtungsfunktion (24) bereitgestellt wird; - für jede Gitterzelle jeder Signalwert mit der jeweiligen an der Position der Gitterzelle ausgewerteten Winkelgewichtungsfunktion (24) multipliziert wird, um einen jeweiligen gewichteten Signalwert zu erhalten; und - für jede Gitterzelle der Gitterwert abhängig von einer Summe der gewichteten Signalwerte, die für die jeweilige Gitterzelle erhalten werden, berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erzeugen der mindestens einen ersten Merkmalskarte das Anwenden des ersten Encodermoduls (15) auf das Kamerabild (7) und das Anwenden eines Self-Attention-Moduls (16) des neuronalen Netzes (11) auf einen Ausgang des ersten Encodermoduls (15) beinhaltet.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein Bereichsvorschlagsnetzwerkmodul (18) des neuronalen Netzwerks (11) auf den fusionierten Satz von Merkmalskarten angewendet wird, um die Regressionseingabedaten zu erzeugen.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein Merkmalsverbesserungsmodul (19) des neuronalen Netzwerks (11), das eine oder mehrere Faltungsschichten enthält, auf eine Ausgabe des Bereichsvorschlagsnetzwerkmoduls (18) angewendet wird, um die Regressionseingangsdaten zu erzeugen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - zum Schätzen der mindestens einen Kupplungsposition eines des mindestens einen Regressionsmoduls (20, 21) auf die Regressionseingangsdaten angewandt wird, um einen Ausgabevektor (23) zu erzeugen; und - der Ausgabevektor (23) zweidimensionale Bildkoordinaten beinhaltet, die die Kupplungsposition im Kamerabild (7) schätzen, und/oder der Ausgangsvektor (23) dreidimensionale Realweltkoordinaten beinhaltet, die die Kupplungsposition in einem Referenzkoordinatensystem schätzen.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Ausgangsvektor eine Wahrscheinlichkeit für das Vorhandensein der Anhängerkupplung (3) in der Umgebung beinhaltet.
Verfahren zur Verfolgung einer Anhängerkupplung (3) in einer Umgebung eines Fahrzeugs (1), dadurch gekennzeichnet, dass - eine Zeitreihe von Kupplungspositionen und/oder eine Zeitreihe von Kupplungsorientierungen der Anhängerkupplung (3) erzeugt wird, indem die Schritte eines Verfahrens nach einem der vorhergehenden Ansprüche wiederholt für eine Vielzahl von aufeinanderfolgenden Frames durchgeführt werden; - mindestens eine verfolgte Kupplungsposition (12) durch Anwenden eines rekurrenten neuronalen Netzwerkmoduls (22) des neuronalen Netzwerks (11) auf die Zeitreihe der Kupplungspositionen bestimmt wird und/oder eine verfolgte Kupplungsorientierung (13) durch Anwenden des rekurrenten neuronalen Netzwerkmoduls (22) auf die Zeitreihe der Kupplungsorientierungen bestimmt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das rekurrente neuronale Netzwerkmodul (22) ein langes Kurzzeitgedächtnis beinhaltet.
Verfahren zur Unterstützung des Ankoppelns eines Fahrzeugs (1) an eine Anhängerkupplung (3) in einer Umgebung des Fahrzeugs (1), dadurch gekennzeichnet, dass - ein Verfahren nach einem der Ansprüche 1 bis 9 durchgeführt wird und das Fahrzeug (1) abhängig von der mindestens einen Kupplungsposition und/oder der Kupplungsorientierung zumindest teilweise automatisch zu der Anhängerkupplung (3) geführt wird; oder - ein Verfahren nach einem der Ansprüche 10 oder 11 durchgeführt wird und das Fahrzeug (1) abhängig von der mindestens einen verfolgten Kupplungsposition (12) und/oder der verfolgten Kupplungsorientierung (13) zumindest teilweise automatisch zu der Anhängerkupplung (3) geführt wird.
Elektronisches Fahrzeugführungssystem (10) für ein Fahrzeug (1), das eine Kamera (5) beinhaltet, die dazu eingerichtet ist, ein Kamerabild (7) zu erzeugen, das eine Anhängerkupplung (3) in einer Umgebung des Fahrzeugs (1) abbildet, dadurch gekennzeichnet, dass - das elektronische Fahrzeugführungssystem (10) eine Speichervorrichtung beinhaltet, die ein trainiertes künstliches neuronales Netzwerk (11) speichert, und wenigstens eine Recheneinheit (4) beinhaltet, die dazu eingerichtet ist, wenigstens eine erste Merkmalskarte zu erzeugen, indem sie wenigstens ein erstes Encodermodul (15) des neuronalen Netzwerks (11) auf das Kamerabild (7) anwendet; - das elektronische Fahrzeugführungssystem (10) wenigstens einen Ultraschallsender (6a) beinhaltet, der dazu eingerichtet ist, Ultraschallimpulse in die Umgebung emittieren und wenigstens einen Ultraschalldetektor (6b), der dazu eingerichtet ist, wenigstens ein Ultraschallsensorsignal (8) abhängig von reflektierten Teilen der emittierten Ultraschallimpulse zu erzeugen; - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, mindestens eine zweite Merkmalskarte zu erzeugen, indem sie mindestens ein zweites Encodermodul (14) des neuronalen Netzwerks (11) auf Ultraschalldaten, die von dem mindestens einen Ultraschallsensorsignal (8) abhängen, anwendet; - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, einen fusionierten Satz von Merkmalskarten durch Fusionieren der mindestens einen ersten Merkmalskarte und der mindestens einen zweiten Merkmalskarte zu erzeugen; - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, mindestens eine Kupplungsposition und/oder eine Kupplungsorientierung der Anhängerkupplung (3) zu schätzen, indem sie mindestens ein Regressionsmodul (20, 21) des neuronalen Netzwerks (11) auf Regressionseingabedaten, die von dem fusionierten Satz von Merkmalskarten abhängen, anwendet.
Elektronisches Fahrzeugführungssystem (10) nach Anspruch 13, dadurch gekennzeichnet, dass - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, Informationen zur Unterstützung eines Fahrers des Fahrzeugs (1) bei der Führung des Fahrzeugs (1) zu der Anhängerkupplung (3) abhängig von der mindestens einen Kupplungsposition und/oder Kupplungsausrichtung zu erzeugen; und/oder - die mindestens eine Recheneinheit (4) dazu eingerichtet ist, eines oder mehrere Steuersignale zu erzeugen, um das Fahrzeug (1) abhängig von der mindestens einen Kupplungsposition und/oder der Kupplungsausrichtung automatisch oder halbautomatisch zu der Anhängerkupplung (3) zu führen.
Computerprogrammprodukt, das Anweisungen beinhaltet, die, wenn sie von einem elektronischen Fahrzeugführungssystem (10) nach einem der Ansprüche 13 oder 14 ausgeführt werden, das elektronische Fahrzeugführungssystem (10) veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.