DE102022134957A1

DE102022134957A1 - Systeme und verfahren zur anhängerkupplungskugel-positionsbestimmung und für kupplungswinkel

Info

Publication number: DE102022134957A1
Application number: DE102022134957.8A
Authority: DE
Inventors: Mojtaba Bahramgiri; Saeid Nooshabadi
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2022-01-06
Filing date: 2022-12-28
Publication date: 2023-07-06
Also published as: CN116402884A; US20230215183A1

Abstract

Die Offenbarung ist im Allgemeinen auf Systeme und Verfahren zur Anhängerkupplungskugel-Standortbestimmung gerichtet, die Empfangen einer Vielzahl von Einzelbildern von einer Kamera, die auf eine Vorderseite eines Anhängers gerichtet ist, der an einem Kopplungspunkt an ein Fahrzeug gekoppelt ist, Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk, um eine anfängliche Schätzung einer Drehpunktposition als einen Standort zu bilden, Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung, um die Drehpunktposition zu identifizieren, und Bestimmen eines Standorts des Kopplungspunkts als die optimierte Drehpunktposition beinhalten. Das neuronale Faltungsnetzwerk beinhaltet eine Vielzahl von Begrenzungsrahmen, die als Standorte vorbestimmter Markierungen an der Vorderseite des Anhängers zentriert ist, wobei das Modellieren über eine umgekehrte Lochprojektion eines Pixels auf ein dreidimensionales Koordinatensystem, das auf eine Anhängerebene projiziert ist, erfolgt, damit berechnete Markierungspositionen relative Abmessungen des Anhängers und einen Standort des Kopplungspunkts bestimmen können. Das Optimieren beinhaltet Lösen einer nichtlinearen Kleinste-Quadrate-Optimierungsformel (NLLSQ-Optimierungsformel) für mehrere Markierungen an dem Anhänger. Das Verfahren beinhaltet die Verwendung geometrischer Mittel, um den Knickwinkel zwischen dem Anhänger und dem Zugfahrzeug (Kupplungswinkel) zu bestimmen, indem die Vielzahl von Begrenzungsrahmen verfolgt wird, die als Standorte vorbestimmter Markierungen an der Vorderseite des Anhängers zentriert ist, wenn sich das Fahrzeug und der Anhänger in einem Kreisbogen in Bezug zueinander bewegen.

Description

GEBIET DER TECHNIK
Diese Offenbarung betrifft im Allgemeinen Fahrzeuge und betrifft insbesondere Systeme und Verfahren zum Schätzen von Anhängerkupplungskugel-Standort und Kupplungswinkel.
ALLGEMEINER STAND DER TECHNIK
Trotz erheblicher Entwicklungsbemühungen bei der Automatisierung erfordern Fahrerassistenzmerkmale zum Manövrieren mit einem Anhänger genaue Schätzungen des Standorts einer Kupplungskugel. Der Standort der Kupplungskugel ist wichtig für die Anhängerwinkeldetektion (trailer angle detection - TAD) und andere Fahrerassistenzmerkmale zum Manövrieren eines Fahrzeugs mit einem Anhänger, wie etwa Rückfahrassistenz.
Es ist wünschenswert, Lösungen bereitzustellen, die Kupplungskugel-Positionsinformationen und zugeordnete Kupplungswinkelinformationen bereitstellen, nachdem ein Fahrzeug an einen Anhänger gekuppelt wurde.
KURZDARSTELLUNG
Das heißt, in Bezug auf einen allgemeinen Überblick ist diese Offenbarung im Allgemeinen auf Systeme und Verfahren zum Schätzen eines Fahrzeugkupplungskugel-Standorts und Schätzen eines Kupplungswinkels gerichtet. Ein beispielhaftes Verfahren beinhaltet Empfangen einer Vielzahl von Einzelbildern von einer Kamera, die auf eine Vorderseite eines Anhängers gerichtet ist, der an einem Kopplungspunkt an ein Fahrzeug gekoppelt ist, Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk, um eine anfängliche Schätzung einer Drehpunktposition als einen Standort zu bilden, Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung, um die Drehpunktposition zu identifizieren, und Bestimmen eines Standorts des Kopplungspunkts als die optimierte Drehpunktposition. Das gleiche Modell wird verwendet, um den Knickwinkel (Kupplungswinkel) zwischen dem Anhänger und dem Fahrzeug zu schätzen.
Figurenliste
Nachstehend wird eine detaillierte Beschreibung unter Bezugnahme auf die beigefügten Zeichnungen dargelegt. Die Verwendung der gleichen Bezugszeichen kann ähnliche oder identische Elemente angeben. Für verschiedene Ausführungsformen können andere Elemente und/oder Komponenten genutzt werden als jene, die in den Zeichnungen veranschaulicht sind, und einige Elemente und/oder Komponenten sind in verschiedenen Ausführungsformen unter Umständen nicht vorhanden. Die Elemente und/oder Komponenten in den Figuren sind nicht zwingend maßstabsgetreu gezeichnet. Für die gesamte Offenbarung gilt, dass Ausdrücke im Singular und Plural je nach Kontext austauschbar verwendet werden können.

1 veranschaulicht ein beispielhaftes System, das ein Fahrzeug beinhaltet, das mit einer Anhängerkupplung und einer Kamera konfiguriert ist, gemäß einer Ausführungsform der Offenbarung.
2 veranschaulicht einige beispielhafte Funktionsblöcke, die in einem System für ein Fahrzeug gemäß einer Ausführungsform der Offenbarung beinhaltet sein können.
3 veranschaulicht ein Modell einer Kameralochprojektion gemäß einer Ausführungsform der Offenbarung.
4 veranschaulicht ein Modell einer Anhängerebene und einer Kamerabrennebene gemäß einer Ausführungsform der Offenbarung.
5 veranschaulicht einen Kleinste-Quadrate-Kreis gemäß einer Ausführungsform der Offenbarung.
6 veranschaulicht eine Draufsicht auf einen Anhänger und ein Zugfahrzeug und einen Kupplungswinkel gemäß einer Ausführungsform der Offenbarung.
7 veranschaulicht eine Draufsicht auf einen Anhänger und ein Zugfahrzeug, das so konfiguriert ist, dass es ausreichend empfindlich ist, um einen Anhänger zu detektieren, gemäß einer Ausführungsform der Offenbarung.
8 veranschaulicht ein Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Offenbarung.

DETAILLIERTE BESCHREIBUNG
Die Offenbarung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen ausführlicher beschrieben, in denen beispielhafte Ausführungsformen der Offenbarung gezeigt sind. Diese Offenbarung kann jedoch in vielen unterschiedlichen Formen umgesetzt werden und sollte nicht als auf die in dieser Schrift dargelegten beispielhaften Ausführungsformen beschränkt ausgelegt werden. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail an verschiedenen Ausführungsformen vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die nachstehende Beschreibung ist zu Veranschaulichungszwecken dargelegt worden und soll nicht erschöpfend oder auf die exakte offenbarte Form beschränkt sein. Es versteht sich, dass alternative Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung, Technik oder Komponente beschriebenen Funktionen durch eine andere Vorrichtung, Technik oder Komponente durchgeführt werden. Darüber hinaus können sich, während spezifische Vorrichtungseigenschaften beschrieben worden sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass die Offenbarung nicht notwendigerweise auf die spezifischen beschriebenen Merkmale oder Handlungen beschränkt ist, wenngleich Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurden. Die spezifischen Merkmale und Handlungen sind vielmehr als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart.
Es versteht sich zudem, dass das Wort „Beispiel“, wie es in dieser Schrift verwendet wird, nicht ausschließender und nicht einschränkender Natur sein soll. Darüber hinaus sollten gewisse Wörter und Formulierungen, die in dieser Schrift verwendet werden, dahingehend interpretiert werden, dass sie sich auf verschiedene Objekte und Handlungen beziehen, die im Allgemeinen in verschiedenen Formen und Äquivalenzen vom Durchschnittsfachmann verstanden werden. Zum Beispiel bezieht sich das Wort „Anwendung“ oder die Formulierung „Softwareanwendung“, wie sie in dieser Schrift in Bezug auf eine mobile Vorrichtung, wie etwa ein Smartphone, verwendet werden, auf Code (in der Regel Softwarecode), der in der mobilen Vorrichtung installiert ist. Der Code kann über eine Mensch-Maschine-Schnittstelle (human machine interface - HMI), wie etwa einen Touchscreen, gestartet und betrieben werden. Das Wort „Handlung“ kann in der Offenbarung austauschbar mit Wörtern wie etwa „Betrieb“ und „Manöver“ verwendet werden. Das Wort „Manövrieren“ kann in einigen Fällen austauschbar mit dem Wort „Steuern“ verwendet werden. Das Wort „Fahrzeug“, wie es in dieser Offenbarung verwendet wird, kann sich auf eine beliebige von verschiedenen Arten von Fahrzeugen beziehen, wie etwa Pkws, Vans, Geländewagen, Lkws, Elektrofahrzeuge, Benzinfahrzeuge, Hybridfahrzeuge und autonome Fahrzeuge. Formulierungen wie etwa „automatisiertes Fahrzeug“, „autonomes Fahrzeug“ und „teilautonomes Fahrzeug“, wie sie in dieser Offenbarung verwendet werden, beziehen sich im Allgemeinen auf ein Fahrzeug, das zumindest einige Vorgänge durchführen kann, ohne dass ein Fahrer in dem Fahrzeug sitzt.
Die Society of Automotive Engineers (SAE) definiert sechs Stufen der Fahrautomatisierung, die von Stufe 0 (vollständig manuell) bis Stufe 5 (vollständig autonom) reichen. Diese Stufen wurden vom US-Verkehrsministerium übernommen. Fahrzeuge der Stufe 0 (L0) sind manuell gesteuerte Fahrzeuge, die keine fahrbezogene Automatisierung aufweisen. In Fahrzeuge der Stufe 1 (L1) sind einige Merkmale, wie etwa Geschwindigkeitsregelung, integriert, doch ein menschlicher Fahrer steuert weiterhin die meisten Fahr- und Manövriervorgänge. Fahrzeuge der Stufe 2 (L2) sind teilweise automatisiert, wobei gewisse Fahrvorgänge, wie etwa Lenken, Bremsen und Spursteuerung, durch einen Fahrzeugcomputer gesteuert werden. Der Fahrer steuert das Fahrzeug weiterhin zu einem gewissen Grad und kann gewisse Vorgänge übersteuern. Fahrzeuge der Stufe 3 (L3) stellen bedingte Fahrautomatisierung bereit, sind jedoch insofern intelligenter, als sie die Fähigkeit aufweisen, eine Fahrumgebung und gewisse Fahrsituationen zu erfassen. Fahrzeuge der Stufe 4 (L4) können in einem Selbstfahrmodus betrieben werden und Merkmale beinhalten, bei denen der Fahrzeugcomputer die Steuerung während gewisser Arten von Ausrüstungsereignissen übernimmt. Der Grad an menschlichem Eingreifen ist sehr gering. Fahrzeuge der Stufe 5 (L5) sind vollständig autonome Fahrzeuge, die keine menschliche Beteiligung einschließen.
1 veranschaulicht ein beispielhaftes System 100, das einen Anhänger 101 beinhaltet, der an ein Fahrzeug 102 gekuppelt ist, gemäß einer Ausführungsform der Offenbarung. Der Anhänger 101 kann Anhängermarkierungsleuchten 105 und 107 beinhalten und über eine Kupplungskugel an einem Drehpunkt 109 an das Fahrzeug 102 gekoppelt sein. Das Fahrzeug 102 kann eine von verschiedenen Arten von Fahrzeugen mit Fahrgestell sein und kann ein benzinbetriebenes Fahrzeug, ein Elektrofahrzeug, ein Hybridelektrofahrzeug oder ein autonomes Fahrzeug, das als automatisiertes oder halbautomatisiertes Fahrzeug der Stufe 2 oder höher konfiguriert ist. Das System 100 kann auf vielfältige Weise umgesetzt sein und verschiedene Arten von Vorrichtungen beinhalten. Zum Beispiel kann das beispielhafte System 100 einige Komponenten beinhalten, die Teil des Fahrzeugs 102 sind. Die Komponenten, die Teil des Fahrzeugs 102 sein können, können einen bordeigenen Computer 110 des Fahrzeugs und ein Sensorsystem 112 beinhalten, das an Kameras gekoppelt ist, wie etwa die Kamera 150, die an das Fahrzeug 102 gekoppelt ist. Die Kamera kann eine beliebige geeignete Kamera sein, die an das Fahrzeug gekoppelt oder diesem zugeordnet ist. Somit kann der bordeigene Computer 110 an das Fahrgestell des Fahrzeugs 102 gekoppelt sein, wobei der bordeigene Computer mindestens einen Speicher und einen Prozessor, wie etwa den Speicher 122, und den Prozessor 104 beinhaltet, der an den Speicher gekoppelt ist, wobei der Prozessor 104 dazu konfiguriert ist, einen Drehpunktpunkt 109 zu bestimmen, wenn das Fahrzeug 102 durch eine Anhängerkupplung gekoppelt ist.
Der bordeigene Computer 110 des Fahrzeugs kann verschiedene Funktionen durchführen, wie etwa Steuern von Motorvorgängen (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), Verwalten von Klimasteuerungen (Klimaanlage, Heizung usw.), Anschalten von Airbags und Ausgeben von Warnmeldungen (Motorkontrollleuchte, Lampenausfall, niedriger Reifendruck, Fahrzeug in einem toten Winkel usw.).
Der bordeigene Computer 110 des Fahrzeugs kann in einer oder mehreren Ausführungsformen verwendet werden, um Merkmale wie etwa passive schlüssellose Vorgänge, ferngesteuerte Fahrzeugmanövriervorgänge und ferngesteuerte Fahrzeugüberwachungsvorgänge zu unterstützen. Der bordeigene Computer 110 des Fahrzeugs kann ferner einige Manöver steuern, die durch das Fahrzeug 102 während des Selbsteinparkvorgangs (in der Branche als ferngesteuerter Parkassistenzvorgang (Remote Park Assist - RePA) bezeichnet) und während anderer Vorgänge, wie etwa eines Anhängerkupplungsassistenzvorgangs (in der Branche als ferngesteuerter Anhängerkuppplungsassistenzvorgang (Remote Trailer Hitch Assist - ReTHA) bezeichnet) und eines Anhängermanövrierassistenzvorgangs (in der Branche als ferngesteuerter Anhängermanövrierassistenzvorgang (Remote Trailer Maneuver Assist - ReTMA) bezeichnet), durchgeführt werden. Einige der Merkmale, die in Bezug auf Kupplungsassistenz und Manövrierassistenz verfügbar sind, erfordern die Kenntnis des Standorts der Kupplungskugel oder des Drehpunkts/Kopplungspunkts 109, nachdem die Kupplungskugel an einer Kupplung angebracht wurde und nicht länger sichtbar ist. Zum Beispiel ist der Standort der Kupplungskugel erforderlich, wenn ein Fahrer die Kupplung manuell an der Kupplungskugel anbringen muss und anschließend Anhängermanövrierassistenzvorgänge verwendet. In derartigen Fällen kann der bordeigene Computer 110 des Fahrzeugs gewisse Vorgänge ausführen, die dem Bestimmen des Standorts der Kupplungskugel als ein Drehpunkt 109, an dem eine Kupplungskugel an einen Anhänger, wie etwa den Anhänger 101, gekoppelt ist, zugeordnet sind.
Der bordeigene Computer 110 des Fahrzeugs kann verschiedene Funktionen durchführen, wie etwa Steuern von Motorvorgängen (Kraftstoffeinspritzung, Drehzahlsteuerung, Emissionssteuerung, Bremsen usw.), Verwalten von Klimasteuerungen (Klimaanlage, Heizung usw.), Anschalten von Airbags und Ausgeben von Warnmeldungen (Motorkontrollleuchte, Lampenausfall, niedriger Reifendruck, Fahrzeug in einem toten Winkel usw.). In einer oder mehreren Ausführungsformen kann der bordeigene Computer 110 des Fahrzeugs ein selbstfahrendes Auto ermöglichen oder Fahrerassistenz bereitstellen. Somit kann der bordeigene Computer 110 des Fahrzeugs ferner ein Verbesserungssystem 125 für ein fortschrittliches Fahrerassistenzsystem (Advanced Driver-Assistance System - „ADAS“) beinhalten, das der Darstellung nach ferner in einer Ausführungsform die verschiedenen Komponenten des Fahrzeugs 102 beinhaltet, die durch das Fahrzeug mittels des ADAS-Verbesserungssystems 125 gesteuert, angeschaltet und/oder betrieben werden können. In einer Umsetzung kann das ADAS-Verbesserungssystem 125 eine unabhängige Vorrichtung sein (zum Beispiel in einem Gehäuse eingeschlossen). In einer anderen Umsetzung können einige oder alle Komponenten des ADAS-Verbesserungssystems 125 mit dem bordeigenen Computer 110 des Fahrzeugs untergebracht oder zusammengeführt sein oder eine Funktionalität mit diesem teilen. Zum Beispiel kann eine integrierte Einheit, welche die Funktionalität des ADAS-Verbesserungssystems 125 kombiniert, durch einen einzigen Prozessor und eine einzige Speichervorrichtung betrieben werden. In der veranschaulichten beispielhaften Konfiguration beinhaltet das ADAS-Verbesserungssystem 125 den Prozessor 104, eine Eingabe-/Ausgabeschnittstelle 127 und einen Speicher 122, ein ADAS-Verbesserungssystemmodul 177, eine Datenbank 175 und ein Betriebssystem 180. Die Eingabe-/Ausgabeschnittstelle 127 ist dazu konfiguriert, Kommunikationen zwischen dem ADAS-Verbesserungssystem 125 und anderen Komponenten, wie etwa den Sensoren 150, den Fahrzeugsteuerkomponenten und einem beliebigen Infotainmentsystem, falls vorhanden, bereitzustellen. Der Speicher 122, der ein Beispiel für ein nichttransitorisches computerlesbares Medium ist, kann verwendet werden, um ein Betriebssystem (operating system - OS) 180, eine Datenbank 175 und verschiedene Codemodule, wie etwa ein ADAS-Verbesserungssystemmodul 177, zu speichern. Die Module, die das ADAS-Verbesserungssystemmodul 177 beinhalten, können in Form von computerausführbaren Anweisungen bereitgestellt sein, die durch den Prozessor 104 ausgeführt werden können, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen.
In einer oder mehreren Ausführungsformen beinhaltet ein Kommunikationsnetzwerk 140 eine Mobilfunk- oder Wi-Fi-Kommunikationsverbindung, die es dem Fahrzeug 102 ermöglicht, mit dem Netzwerk 140, das ein cloudbasiertes Netzwerk oder eine cloudbasierte Quelle beinhalten kann, zu kommunizieren, um Daten gemäß dieser Offenbarung zu übertragen.
Die an dem Fahrzeug 102 montierte Kamera 150 kann ferner einen Satz von Knoten und/oder Sensoren beinhalten, der auf eine Weise an dem Fahrzeug 102 montiert ist, die es dem bordeigenen Computer 110 des Fahrzeugs ermöglicht, mit Vorrichtungen zu kommunizieren und Daten zur Kopplungspunktschätzung und Kupplungswinkeldetektion zu sammeln. Beispiele dafür können Sensoren, Radare und/oder Emitter beinhalten, die in der Lage sind, Objekte, Entfernungen, wie etwa Ultraschallradar, LiDAR, Kameras, und dergleichen zu detektieren. In einer oder mehreren Ausführungsformen können die Sensoren/Kameras ferner eines oder mehrere von Bluetooth®-fähigen Sensoren oder Bluetooth®-Low-Energy(BLE)-fähigen Sensoren beinhalten. In einer Ausführungsform kann ein einziger Knoten und/oder Sensor und/oder eine einzige Kamera 150 an der Rückseite des Fahrzeugs 102 montiert sein. Andere Sensoren können ebenfalls in dem Fahrzeug 102 vorhanden sein, einschließlich Raddrehzahlsensoren, Beschleunigungsmessern, Geschwindigkeitssensoren, GPS-Sensoren und Lenkradsensoren.
Der bordeigene Computer 110 des Fahrzeugs beinhaltet ein Drehpunktmodul 130 zum Durchführen einer Kupplungskugelstandortbestimmung durch Sammeln von Daten von der Rückfahrkamera 150 an dem Fahrzeug 102 oder anderen Sensoren, die auf den Kupplungskugelstandort, den Drehpunkt 109, gerichtet sind. Der bordeigene Computer 110 des Fahrzeugs kann ferner das Fahrzeug 102 unter Verwendung einiger Manöver steuern, die durch das Fahrzeug 102 während des Selbsteinparkvorgangs (in der Branche als ferngesteuerter Parkassistenzvorgang (RePA) bezeichnet) und während anderer Vorgänge, wie etwa eines Anhängerkupplungsassistenzvorgangs (in der Branche als ferngesteuerter Anhängerkuppplungsassistenzvorgang (ReTHA) bezeichnet) und eines Anhängermanövrierassistenzvorgangs (in der Branche als ferngesteuerter Anhängermanövrierassistenzvorgang (ReTMA) bezeichnet), durchgeführt werden.
Unter Bezugnahme auf 2 ist der bordeigene Computer 110 des Fahrzeugs der Darstellung nach dazu konfiguriert, verschiedene Vorgänge auszuführen, die dem Schätzen des Standorts einer Kupplungskugel über das Drehpunktmodul 130 gemäß einer oder mehreren Ausführungsformen zugeordnet sind.
Wie gezeigt, beinhaltet der bordeigene Computer 110 in einer Ausführungsform Komponenten, wie etwa einen Prozessor 202, einen Sendeempfänger 210 und einen Speicher 204, der ein Beispiel für ein nichttransitorisches computerlesbares Medium ist, das zum Speichern des Betriebssystems (OS) 240, der Datenbank 230 und der verschiedenen Module, wie etwa des Drehpunktmoduls 130, verwendet werden kann. Eine oder mehrere Module in Form computerausführbarer Anweisungen können durch den Prozessor 210 ausgeführt werden, um verschiedene Vorgänge gemäß der Offenbarung durchzuführen. Insbesondere kann das Drehpunktmodul 130 durch den Prozessor 210 gemäß der Offenbarung ausgeführt werden, um den Standort des Drehpunkts 109 zu bestimmen, der den Standort einer Kupplungskugel zum Verbinden des Fahrzeugs 102 mit einem Anhänger identifiziert.
Erneut unter Bezugnahme auf 1 sind der Anhänger 101 und das Fahrzeug 102 in einer gekuppelten Position mit dem Drehpunkt 109 gezeigt. Gemäß einer Ausführungsform wird der Kupplungskugelstandort unabhängig davon bestimmt, ob das Fahrzeug 102 in Bewegung ist, aber während der Anhänger 101 verbunden ist. Insbesondere werden gemäß Ausführungsformen Deep-Learning-Objektdetektions- und Verfolgungsmodelle angewendet, um Markierungsleuchten oder andere Merkmale zu detektieren und zu verfolgen, die sich an einer Vorderseite des Anhängers 101 befinden, wie etwa die Markierungsleuchten 105 und 107. Wenngleich es sich bei dem Zielmerkmal in einigen Ausführungsformen um die Markierungsleuchten 105 und 107 handeln kann, ist jedes an dem Anhänger 101 gezeigte Merkmal, das durch Computer Vision detektierbar und verfolgbar ist, für Ausführungsformen in dieser Schrift geeignet.
Wie in 1 gezeigt, beinhalten die an das Fahrzeug 102 gekoppelten Sensoren eine oder mehrere Kameras 150. In einer oder mehreren Ausführungsformen können durch die eine oder die mehreren Kameras 150 empfangene Daten dem Drehpunktmodul 130 bereitgestellt werden, um einen Drehpunktstandort zu bestimmen, nachdem das Fahrzeug 102 und der Anhänger 101 gekoppelt sind und/oder sich bewegen. Bevor der Standort des Drehpunkts 109 bestimmt werden kann, gleicht jedoch eine Kalibrierungsprozedur etwaige Verzeichnungen, wie etwa die durch einen Weitwinkel oder ein Fischauge in der Kamera 150 verursachte, aus. Um eine Kalibrierungsprozedur durchzuführen, kann OpenCV (Open Computer Vision) oder ein beliebiger anderer geeigneter Werkzeugkasten zum Extrahieren der intrinsischen Matrix einer Kamera durchgeführt werden, um die korrigierten Bilddaten von dem Anhänger 101 zu normalisieren.
Insbesondere können die eine oder die mehreren typischen Kameras 150 im Vergleich zu einem normalen Objektiv (d. h. 50 mm Brennweite) ein Weitwinkel-Fischaugenobjektiv beinhalten, um ein großes Sichtfeld bereitzustellen, das die Aufnahme eines viel größeren Bereichs hinter dem Fahrzeug 102 ermöglicht. Die große Krümmung in dem Fischaugenobjektiv verschiebt die Objekte aus ihren geradlinigen Positionen. Somit erfordert ein neuronales Netzmodell, um die Positionen der detektierten Markierungsleuchten korrekt zu schätzen, einen Ausgleich der Verzeichnung durch Kalibrierung, wenn eine durch das montierte Fischaugenobjektiv an dem Kamerasensor 150 verursachte Verzeichnung vorliegt.
Nachdem eine Kalibrierung die intrinsische Matrix einer Kamera extrahiert hat, kann die Matrix in einer umgekehrten Lochprojektion verwendet werden. Zum Beispiel projiziert, wie in 3 gezeigt, ein Modell 300 einer Kameralochprojektion von einem x-, y-, z-Koordinatenraum 302, wobei die z-Achse eine optische Achse 306 ist.
Die kalibrierten Kameradaten werden auf eine Vielzahl von Einzelbildern von der Kamera/dem Sensor 150 angewendet, die/der auf eine Vorderseite des Anhängers 101 gerichtet ist, der an dem Drehpunkt 109 an das Fahrzeug 102 gekoppelt ist. In einer oder mehreren Ausführungsformen wird die Vielzahl von Einzelbildern über einen Drehbereich relativ zu dem Fahrzeug 102 gesammelt. Nachdem die Vielzahl von Einzelbildern gesammelt wurde, kann eine Objektdetektionstechnik mit einem neuronalen Faltungsnetzwerk verwendet werden, um die Standorte von Markierungsleuchten an dem Anhänger 101 genau zu bestimmen und diese Standortinformationen zu integrieren, um einen Anhängerknickwinkel und den Drehpunkt 109 für die Kupplungskugel-Standortbestimmung zu schätzen . In einigen Ausführungsformen kann ein Bildregressionsmodell verwendet werden oder können andere Standardmerkmale verwendet werden, um etwa eine Vorderseite oder Deichsel eines Anhängers zu detektieren und zu verfolgen. Wie der Fachmann erkennen kann, weisen die Markierungsleuchten 105 und 107 eine wesentlich geringere Vielfalt an Form und Farbe auf und können die Grundlage für ein universelles Modell zum Bestimmen der Standorte der Markierungsleuchten oder anderer geeigneter Merkmale bilden.
Nachdem ein Modell gewünschte Merkmale des Anhängers 101 detektiert und extrahiert hat, projiziert das Modell diese in einer Ausführungsform auf eine Anhängerebene. Zum Beispiel veranschaulicht in 4 ein Modell 400 eine Anhängerebene 402, eine Kamerabrennebene 404, eine Kamera 406 und eine horizontale Linie 408, um den Standort einer Kupplungskugel 410 zu modellieren. Die Kamera 406 nimmt Bilder auf und in jedem Einzelbild detektiert oder verfolgt ein Modell eines neuronalen Netzwerks die Markierungsleuchten 105 und 107, die in 1 gezeigt sind, oder andere Merkmale, die für Markierungsleuchtendetektion trainiert sind. In anderen Ausführungsformen kann eine optische Flusstechnik angewendet werden. Das Modell des neuronalen Netzwerks oder ein anderes Modell gibt eine Begrenzungsrahmenmitte als einen Standort einer Markierungsleuchte zu einem Zeitpunkt $t : {[u_{n}^{t} v_{n}^{t}]}^{T}$
aus. Als Nächstes mindert das neuronale Netzwerk, wie vorstehend beschrieben, die Objektivverzeichnung mithilfe einer extrahierten intrinsischen Matrix der Kamera, derart, dass ${[u_{n}^{t} v_{n}^{t}]}^{T} = {[{\hat{u}}_{n}^{t} {\hat{v}}_{n}^{t}]}^{T},$
falls eine Fischaugen- oder Weitwinkelobjektiv-Verzeichnung vorliegt.
Als Nächstes betrachtet das Modell eine anfängliche Schätzung für den Drehpunkt 109 als o₀ = [x₀ y₀]^T. Unter Bezugnahme auf 4 ist die Kamera 406 wie gezeigt in einer relativen Position in Bezug auf einen Kupplungskugel-/Drehpunktstandort 410 platziert gezeigt.
Die Vielzahl von Einzelbildern, die für das neuronale Netzwerk verwendet wird, kann in dem neuronalen Faltungsnetzwerk mithilfe einer Vielzahl von Begrenzungsrahmen modelliert werden, die als Standorte vorbestimmter Markierungsleuchten 105 und 107 an der Vorderseite des Anhängers 101 zentriert sind, wobei das Modellieren der Einzelbilder über eine umgekehrte Lochproj ektion eines Pixels auf ein dreidimensionales Koordinatensystem, das auf eine Anhängerebene projiziert ist, erfolgt, wie in 4 gezeigt, damit berechnete Markierungsleuchtenpositionen aus der Vielzahl von Einzelbildern detektiert werden und relative Abmessungen des Anhängers 101 und den Standort des Kopplungspunkts und zudem den Knickwinkel bestimmen können. 109.
Somit führt das Modell des neuronalen Netzwerks unter Verwendung von o₀ eine umgekehrte Lochprojektion durch, wie in 3 und 4 gezeigt, derart, dass ${[{\hat{u}}_{n}^{t} {\hat{v}}_{n}^{t}]}^{T} \underset{□}{\to} q_{n}^{t} : = {[x_{n}^{t} y_{n}^{t}]}^{T} .$
Somit bildet das Modell des neuronalen Netzwerks in einer Ausführungsform einen entsprechenden Satz für jede Markierungsleuchte, Q_n, wobei jeder Satz Markierungsleuchtenpositionsvektoren $Q_{n} : = {q_{n}^{t}} t$
In einer Ausführungsform ist, nachdem eine Kupplungskugel an den Anhänger 101 gekoppelt wurde, der Standort der Kupplungskugel ein Drehpunkt 109 der Drehverschiebung des Anhängers 101 relativ zu dem Zugfahrzeug. Somit sind die Abstände von den Markierungsleuchten 105 und 107 zu der Kupplungskugel und dem Drehpunkt 109 unabhängig von der Anhängerausrichtung konstant und gleich. Der Standort der Kupplungskugel entlang der y-Richtung ist als h_y auf der Anhängerebene 302 in 4 gezeigt.
Somit ist gemäß einer Ausführungsform eine Schätzung des Anhängerdrehpunkts 109 6 = [h_x h_y] auf der Anhängerebene 302 über eine nichtlineare Kleinste-Quadrate-Optimierungsformel (nonlinear least-squares optimization formulation - NLLSQ-Optimierungsformel), wie folgt: $\begin{array}{l} \hat{o} = min_{o} ƒ (o) = min_{o} \frac{1}{2} {‖ r (o) ‖}^{2} wobei r (o) = {[r^{1} (o), \dots, r^{m} (o)]}^{T}, r^{t} (o) = \bar{r^{2}} - ‖ o - \\ {q^{t} ‖}^{2} u n d \bar{r^{2}} = \frac{1}{M} {\sum_{t = 1}^{M} ‖ o - q^{t} ‖}^{2}, \end{array}$
wobei 6 der Kopplungspunkt 109 auf einer Anhängerebene ist und q Schätzungen für eine vorbestimmte Vielzahl von Markierungen an dem Anhänger 101 darstellt.
In einer oder mehreren Ausführungsformen kann die NLLSQ-Optimierungsformel durch numerische Verfahren zum Lösen der Formel gelöst werden, die Lösen einer Jacobi-Matrix derart, dass sie an dem Drehpunkt 109 konvergiert, beinhalten. Zum Beispiel beinhaltet ein Verfahren Lösen einer nichtlinearen Gleichung, $\nabla ƒ (o_{t}) = J {(o_{t})}^{T} r (o_{t}) = 0$
Wobei J(ot) die Jacobi-Matrix ist, die wie folgt gegeben wird: $\begin{array}{l} J (o_{t}) = [\begin{matrix} \frac{d r_{1} (o_{t})}{d o_{t_{x}}} & \dots & \frac{f r_{1} (o_{t})}{d o_{t_{y}}} \\ ⋮ & □ & ⋮ \\ \frac{d r_{N} (o_{t})}{d o_{t_{x}}} & \dots & \frac{d r_{N} (o_{t})}{d o_{t_{y}}} \end{matrix}] = \\ = 2 [\begin{matrix} (o_{t} (x) - q_{1} (x)) & \dots & (o_{t} (y) - q_{1} (y)) \\ ⋮ & □ & ⋮ \\ (o_{t} (x) - q_{N} (x)) & \dots & o_{t} (y) - q_{N} (y)) \end{matrix}] \end{array}$
Es ist zu beachten, dass die Formeln davon ausgehen, dass die Markierungsleuchten 105 und 107 symmetrisch an dem Anhänger 101 positioniert sind. Das neuronale Faltungsnetzwerk oder herkömmliche Verfolgungsmodelle detektieren und verfolgen in einer Ausführungsform jede Markierungsleuchte unabhängig und können die geschätzte Position über die Zeit aufzeichnen. Unabhängig von der Position an dem Anhänger 101 ist die Kupplungskugel an dem Drehpunkt 109 der Drehmittelpunkt. Daher können mehrere verfolgte Objekte an dem Anhänger 101 verwendet werden, um die Funktion zu erweitern. In einer Ausführungsform werden eine Fehlerfunktion oder ein Fehlerarray r(ot) einzeln verfolgter Objekte und die Jacobi-Matrix verkettet, um exaktere Ergebnisse bereitzustellen. Zum Beispiel kann ein Fehlerarray auf den Differenzbetrag korrigieren, wenn die Markierungsleuchten nicht exakt symmetrisch sind. Das Konzept des Drehmittelpunkts ist in 5 veranschaulicht, in der ein Kleinste-Quadrate-Kreis veranschaulicht, wo sich die Markierungsleuchtenpositionen an einem x-y-Kleinste-Quadrate-Kreis befinden können, wobei die detektierten Markierungsleuchtenpositionen mit einer y-Achse 502 in Metern und einer x-Achse 504 in Metern gezeigt sind.
Unter Bezugnahme auf 6 und 7 stellt eine Ausführungsform, nachdem ein Standort der Kupplungskugel bestimmt wurde, Detektieren des Anhängerwinkels in Echtzeit bereit, während der Anhänger mit dem Fahrzeug 102 verbunden ist. Zum Beispiel kann ein ADAS-System, wie in 1 gezeigt, zusätzlich zu der Kamera Radare beinhalten, die für Totwinkel-Informationssysteme (blind spot information system - BLIS) oder dergleichen verwendet werden, was zum Beispiel für eine Anhängerwinkeldetektion mit begrenzter Berechnung vorteilhaft wäre und keine Hochleistungsrecheneinheiten erfordern würde. Wie in 6 gezeigt, ist das Fahrzeug 102 an den Anhänger 101 gekoppelt. Insbesondere werden in einer Ausführungsform die Anhängerkupplungswinkel 602 unter Verwendung einer geschätzten Anhängerabmessung und der Vielzahl von Einzelbildern geschätzt, die unter Verwendung der Kamera 150 gesammelt werden, indem der Anhängerkupplungswinkel zu dem Schwenkpunkt 109 durch geometrische Mittel geschätzt wird, indem die Vielzahl von Begrenzungsrahmen verfolgt wird, die als Standorte . zentriert sind von vorbestimmten Markierungen an der Vorderseite des Anhängers, wenn sich das Fahrzeug und der Anhänger in einem kreisförmigen Bogen in Bezug aufeinander bewegen, wie in 6 gezeigt.
Nun unter Bezugnahme auf 8 veranschaulicht ein Ablaufdiagramm ein Verfahren gemäß einer Ausführungsform der Offenbarung. Wie gezeigt, stellt Block 810 Empfangen einer Vielzahl von Einzelbildern von einer Kamera, die auf eine Vorderseite eines Anhängers gerichtet ist, der an einem Kopplungspunkt an ein Fahrzeug gekoppelt ist, bereit. Zum Beispiel kann das Netzwerk 140 oder der Computer 110 Einzelbilder von der Kamera 150 empfangen, die sich an dem Fahrzeug 102 befindet, das an den Anhänger 101 gekoppelt ist. Innerhalb von Block 810 befindet sich Block 8102, der Empfangen der Vielzahl von Einzelbildern über einen Drehbereich relativ zu dem Fahrzeug bereitstellt.
Block 820 stellt Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk bereit, um eine anfängliche Schätzung einer Drehpunktposition als einen Standort zu bilden. Zum Beispiel kann ein neuronales Faltungsnetzwerk, wie etwa die fachbekannten, die Einzelbilder verwenden um, Block 820 beinhaltet einen optionalen Block 8202, der Modellieren einer Vielzahl von Begrenzungsrahmen, die als Standorte vorbestimmter Markierungen an der Vorderseite des Anhängers zentriert ist, bereitstellt, wobei das Modellieren der Einzelbilder über eine umgekehrte Lochprojektion eines Pixels auf ein dreidimensionales Koordinatensystem, das auf eine Anhängerebene projiziert ist, erfolgt, damit berechnete Markierungspositionen aus der Vielzahl von Einzelbildern relative Abmessungen des Anhängers und einen Standort des Kopplungspunkts bestimmen können. Block 820 beinhaltet ferner einen optionalen Block 8204, der Anwenden von auf Deep-Learning basierter Objektdetektion und auf Computer Vision basierter Verfolgung von Markierungsstandorten an dem Anhänger bereitstellt und Mittelpunkte in Form von Zeilen- und Spaltenangaben von Pixeln auf jedes Einzelbild ausgibt. Zum Beispiel kann das Verfolgen von Markierungsleuchten 105, 107, wie in 1 gezeigt, verwendet werden, um die Anhängerebene zu bestimmen und die umgekehrte Lochprojektion, wie in 4 gezeigt, zu ermöglichen.
Block 830 stellt Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung bereit, um die Drehpunktposition zu identifizieren. Block 830 beinhaltet einen optionalen Block 8302, der Lösen der nichtlinearen Gleichung durch eine nichtlineare Kleinste-Quadrate-Optimierungsformel (NLLSQ-Optimierungsformel) für mehrere Markierungen an dem Anhänger bereitstellt.
Block 840 stellt Identifizieren des Kopplungspunkts als die optimierte Drehpunktposition bereit. Zum Beispiel ist die optimierte Drehpunktposition der Punkt, an dem die Anhängerkupplung an das Fahrzeug 102 gekoppelt ist.
In der vorstehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und spezifische Umsetzungen veranschaulichen, in denen die vorliegende Offenbarung praktisch umgesetzt werden kann. Es versteht sich, dass andere Umsetzungen genutzt und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“, „beispielhafte Umsetzung“ usw. geben an, dass die beschriebene Ausführungsform oder Umsetzung ein(e) konkrete(s) Merkmal, Struktur oder Eigenschaft beinhalten kann, wobei jedoch nicht unbedingt jede Ausführungsform diese(s) konkrete Merkmal, Struktur oder Eigenschaft beinhaltet. Darüber hinaus bezeichnen derartige Formulierungen nicht unbedingt dieselbe Ausführungsform oder Umsetzung. Ferner wird, wenn ein(e) bestimmte(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit einer Ausführungsform oder Umsetzung beschrieben ist, der Fachmann ein(e) derartige(s) Merkmal, Struktur oder Eigenschaft in Verbindung mit anderen Ausführungsformen oder Umsetzungen erkennen, ob dies nun ausdrücklich beschrieben ist oder nicht. Zum Beispiel sind verschiedene Merkmale, Aspekte und Handlungen, die vorstehend in Bezug auf ein autonomes Einparkmanöver beschrieben wurden, auf verschiedene andere autonome Manöver anwendbar und müssen dementsprechend interpretiert werden.
Umsetzungen der in dieser Schrift offenbarten Systeme, Einrichtungen, Vorrichtungen und Verfahren können eine oder mehrere Vorrichtungen umfassen oder nutzen, die Hardware beinhalten, wie zum Beispiel einen oder mehrere Prozessoren und Systemspeicher, wie in dieser Schrift erörtert. Eine Umsetzung der in dieser Schrift offenbarten Vorrichtungen, Systeme und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder festverdrahtet, drahtlos oder eine beliebige Kombination aus festverdrahtet oder drahtlos) an einen Computer übertragen oder einem Computer bereitgestellt werden, sieht der Computer die Verbindung zweckgemäß als Übertragungsmedium an. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen beinhalten, das/die verwendet werden kann/können, um gewünschte Programmcodemittel in Form von computerausführbaren Anweisungen oder Datenstrukturen zu führen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus dem Vorstehenden sollten ebenfalls im Umfang nicht transitorischer computerlesbarer Medien beinhaltet sein.
Computerausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die bei Ausführung an einem Prozessor bewirken, dass der Prozessor eine gewisse Funktion oder Gruppe von Funktionen durchführt. Die computerausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen wie etwa Assemblersprache oder auch Quellcode sein. Ferner versteht es sich, dass der in den beigefügten Patentansprüchen definierte Gegenstand nicht notwendigerweise auf die vorstehend beschriebenen Merkmale oder Handlungen beschränkt ist, wenngleich der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde. Die beschriebenen Merkmale und Handlungen sind vielmehr als beispielhafte Formen zum Umsetzen der Patentansprüche offenbart.
Eine Speichervorrichtung kann ein beliebiges Speicherelement oder eine Kombination aus flüchtigen Speicherelementen (z. B. Direktzugriffsspeicher (random access memory - RAM, wie etwa DRAM, SRAM, SDRAM usw.)) und nichtflüchtigen Speicherelementen (z. B. ROM, Festplatte, Band, CD-ROM usw.) beinhalten. Darüber hinaus können in die Speichervorrichtung elektronische, magnetische, optische und/oder andere Arten von Speichermedien integriert sein. Im Kontext dieser Schrift kann ein „nichttransitorisches computerlesbares Medium“ zum Beispiel unter anderem ein(e) elektronische(s), magnetische(s), optische(s), elektromagnetische(s), Infrarot- oder Halbleitersystem, - einrichtung oder -vorrichtung sein. Konkretere Beispiele (eine nicht erschöpfende Auflistung) für das computerlesbare Medium würden Folgendes einschließen: eine tragbare Computerdiskette (magnetisch), einen Direktzugriffsspeicher (RAM) (elektronisch), einen Festwertspeicher (read-only memory - ROM) (elektronisch), einen löschbaren programmierbaren Festwertspeicher (EPROM, EEPROM oder Flash-Speicher) (elektronisch) und einen tragbaren Festwertspeicher für einen Compact-Disk-Festwertspeicher (CD-ROM) (optisch). Es ist anzumerken, dass das computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, auf welches das Programm aufgedruckt ist, da das Programm zum Beispiel über optisches Abtasten des Papiers oder anderen Mediums elektronisch erfasst, dann kompiliert, interpretiert oder bei Bedarf auf andere Weise verarbeitet und dann in einem Computerspeicher gespeichert werden kann.
Der Fachmann wird verstehen, dass die vorliegende Offenbarung in Network-Computing-Umgebungen mit vielen Arten von Computersystemkonfigurationen umgesetzt werden kann, die Armaturenbrett-Fahrzeugcomputer, Personal Computer, Desktop-Computer, Laptop-Computer, Nachrichtenprozessoren, mobile Vorrichtungen, Mehrprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Großcomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichervorrichtungen und dergleichen beinhalten. Die Offenbarung kann zudem in Umgebungen mit verteilten Systemen umgesetzt werden, in denen sowohl lokale Computersysteme als auch Remote-Computersysteme, die durch ein Netzwerk (entweder durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine beliebige Kombination aus festverdrahteten und drahtlosen Datenverbindungen) verbunden sind, Aufgaben ausführen. In einer Umgebung mit verteilten Systemen können sich Programmmodule sowohl in lokalen als auch in entfernten Datenspeichervorrichtungen befinden.
Ferner können gegebenenfalls die in dieser Schrift beschriebenen Funktionen in einem oder mehreren von Hardware, Software, Firmware, digitalen Komponenten oder analogen Komponenten durchgeführt werden. Eine oder mehrere anwendungsspezifische integrierte Schaltungen (application specific integrated circuits - ASICs) können zum Beispiel dazu programmiert sein, eine(s) oder mehrere der in dieser Schrift beschriebenen Systeme und Prozeduren auszuführen. Gewisse Ausdrücke werden in der gesamten Beschreibung verwendet und Patentansprüche beziehen sich auf konkrete Systemkomponenten. Der Fachmann versteht, dass Komponenten mit anderen Bezeichnungen benannt werden können. In dieser Schrift soll nicht zwischen Komponenten unterschieden werden, die sich der Bezeichnung nach, nicht jedoch hinsichtlich ihrer Funktion unterscheiden.
Mindestens einige Ausführungsformen der vorliegenden Offenbarung sind auf Computerprogrammprodukte gerichtet worden, die derartige Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Derartige Software veranlasst bei Ausführung in einer oder mehreren Datenverarbeitungsvorrichtungen eine Vorrichtung dazu, wie in dieser Schrift beschrieben zu funktionieren.
Wenngleich vorstehend verschiedene Ausführungsformen der vorliegenden Offenbarung beschrieben worden sind, versteht es sich, dass diese lediglich als Beispiele und nicht zur Einschränkung dargestellt worden sind. Der Fachmann auf dem einschlägigen Gebiet wird erkennen, dass verschiedene Änderungen bezüglich Form und Detail daran vorgenommen werden können, ohne vom Wesen und Umfang der vorliegenden Offenbarung abzuweichen. Somit sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eine der vorstehend beschriebenen beispielhaften Ausführungsformen eingeschränkt werden, sondern lediglich gemäß den folgenden Patentansprüchen und deren Äquivalenten definiert werden. Die vorangehende Beschreibung ist zum Zwecke der Veranschaulichung und Beschreibung dargelegt worden. Sie soll nicht erschöpfend sein oder die vorliegende Offenbarung auf die exakte offenbarte Form einschränken. Viele Modifikationen und Variationen sind in Anbetracht der vorstehenden Lehren möglich. Ferner ist anzumerken, dass beliebige oder alle der vorstehend erwähnten alternativen Umsetzungen in einer beliebigen gewünschten Kombination verwendet werden können, um zusätzliche Hybridumsetzungen der vorliegenden Offenbarung zu bilden. Zum Beispiel können beliebige der unter Bezugnahme auf eine konkrete Vorrichtung oder Komponente beschriebenen Funktionen durch eine andere Vorrichtung oder Komponente durchgeführt werden. Ferner können sich, während spezifische Vorrichtungseigenschaften beschrieben worden sind, Ausführungsformen der Offenbarung auf zahlreiche andere Vorrichtungseigenschaften beziehen. Ferner versteht es sich, dass die Offenbarung nicht notwendigerweise auf die spezifischen beschriebenen Merkmale oder Handlungen beschränkt ist, wenngleich Ausführungsformen in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurden. Die spezifischen Merkmale und Handlungen sind vielmehr als veranschaulichende Formen zum Umsetzen der Ausführungsformen offenbart. Mit Formulierungen, die konditionale Zusammenhänge ausdrücken, wie unter anderem „kann“, „könnte“, „können“ oder „kann möglicherweise“, soll im Allgemeinen vermittelt werden, dass gewisse Ausführungsformen gewisse Merkmale, Elemente und/oder Schritte beinhalten könnten, wohingegen andere Ausführungsformen diese möglicherweise nicht beinhalten, es sei denn, es ist konkret etwas anderes angegeben oder es ergibt sich etwas anderes aus dem jeweils verwendeten Kontext. Somit soll derartige konditionale Sprache im Allgemeinen nicht implizieren, dass Merkmale, Elemente und/oder Schritte für eine oder mehrere Ausführungsformen in irgendeiner Weise erforderlich sind.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, Anweisungen zum Optimieren des Modells durch Lösen der nichtlinearen Gleichung durch eine nichtlineare Kleinste-Quadrate-Optimierungsformel (NLLSQ-Optimierungsformel) für mehrere Markierungen an dem Anhänger mittels $\hat{o} = \underset{o}{m i n} ƒ (o) = \underset{o}{m i n} \frac{1}{2} {‖ r (o) ‖}^{2}$
wobei $r (o) = {[r^{1} (o), \dots, r^{m} (o)]}^{T}, r^{t} (o) = \bar{r^{2}} - {‖ o - q^{t} ‖}^{2}$

und $\bar{r^{2}} = \frac{1}{M} {\sum_{t = 1}^{M} ‖ o - q^{t} ‖}^{2}$
auszuführen, wobei 6 der Kopplungspunkt auf einer Anhängerebene ist und q Schätzungen für eine vorbestimmte Vielzahl von Markierungen an dem Anhänger darstellt.
Gemäß einer Ausführungsform wird die NLLSQ-Optimierungsformel mittels eines oder mehrerer numerischer Verfahren zum Lösen der nichtlinearen Gleichung gelöst, die Lösen einer Jacobi-Matrix derart, dass sie an dem Kopplungspunkt konvergiert, beinhalten, wobei die Jacobi-Matrix mit einem Fehlerarray verkettet ist, wenn die vorbestimmte Vielzahl von Markierungen an dem Anhänger nicht symmetrisch an dem Anhänger positioniert ist.
Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, Anweisungen zum Schätzen eines Kupplungswinkels unter Verwendung einer geschätzten Anhängerabmessung und der Vielzahl von Einzelbildern auszuführen, wofür geometrische Knickwinkel- und Optimierungstechniken verwendet werden.
Gemäß der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das Folgendes aufweist:

ein Fahrgestell; Sensoren, die an das Fahrgestell gekoppelt sind, wobei die Sensoren eines oder mehrere von einer Kamera und einem Radar eines fortschrittlichen Fahrerassistenzsystems (ADAS) beinhalten; einen bordeigenen Computer, der an das Fahrgestell gekoppelt ist, wobei der bordeigene Computer einen Speicher und einen an den Speicher gekoppelten Prozessor beinhaltet, wobei der Prozessor dazu konfiguriert ist, auf den Speicher zuzugreifen und computerausführbare Anweisungen für Folgendes auszuführen: Empfangen einer Vielzahl von Einzelbildern von der Kamera, die auf eine Vorderseite eines Anhängers gerichtet ist, der an das Fahrzeug gekoppelt ist; Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk, um eine anfängliche Schätzung einer Drehpunktposition, an der das Fahrzeug an den Anhänger gekoppelt ist, zu bilden; Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung, um die Drehpunktposition zu identifizieren; und Bestimmen eines Standorts eines Kopplungspunkts als die Drehpunktposition.

Gemäß einer Ausführungsform ist der Prozessor dazu konfiguriert, Anweisungen zum Schätzen eines Kupplungswinkels unter Verwendung der Vielzahl von Einzelbildern und der Drehpunktposition durch geometrisches Errechnen von Konstanten, die Abstände und Winkel zwischen dem Kopplungspunkt und einer Vielzahl von Markierungen, die durch die Vielzahl von Einzelbildern aufgenommen wurde, umfassen.

Claims

Verfahren, umfassend: Empfangen einer Vielzahl von Einzelbildern von einer Kamera, die auf eine Vorderseite eines Anhängers gerichtet ist, der an einem Kopplungspunkt an ein Fahrzeug gekoppelt ist; Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk, um eine anfängliche Schätzung einer Drehpunktposition als einen Standort zu bilden; Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung, um die Drehpunktposition zu identifizieren; und Bestimmen eines Standorts des Kopplungspunkts als die Drehpunktposition.
Verfahren nach Anspruch 1, ferner umfassend Erhalten eines Knickwinkels (Kupplungswinkels) zwischen dem Anhänger und dem Fahrzeug unter Verwendung der Drehpunktposition, wofür ein Verfolgungssystem eingesetzt wird, das Markierungspunkte an einer Vorderseite des Anhängers auf einem Kreisbogen verfolgt.
Verfahren nach Anspruch 1, wobei das Empfangen der Vielzahl von Einzelbildern Empfangen der Vielzahl von Einzelbildern über einen Drehbereich relativ zu dem Fahrzeug beinhaltet.
Verfahren nach Anspruch 1, wobei das Modellieren der Einzelbilder in dem neuronalen Faltungsnetzwerk Modellieren in dem neuronalen Faltungsnetzwerk mithilfe einer Vielzahl von Begrenzungsrahmen, die als Standorte vorbestimmter Markierungen an der Vorderseite des Anhängers zentriert ist, beinhaltet, wobei das Modellieren der Einzelbilder eine umgekehrte Lochproj ektion eines Pixels auf ein dreidimensionales Koordinatensystem, das auf eine Anhängerebene projiziert ist, umfasst, damit berechnete Markierungspositionen aus der Vielzahl von Einzelbildern relative Abmessungen des Anhängers und einen Standort des Kopplungspunkts bestimmen können.
Verfahren nach Anspruch 1, wobei sich die Kamera an dem Fahrzeug befindet, wobei die Vielzahl von Einzelbildern auf Verzeichnung korrigiert ist, wenn die Kamera ein ungenaues Weitwinkelobjektiv beinhaltet, wobei die Einzelbilder durch Objektivkalibrierung korrigiert sind.
Verfahren nach Anspruch 1, wobei das Modellieren der Einzelbilder in dem neuronalen Faltungsnetzwerk Anwenden von auf Deep-Learning basierter Objektdetektion und auf Computer Vision basierter Verfolgung von Markierungsstandorten an dem Anhänger und Ausgeben von Mittelpunkten als Zeilen- und Spaltenangaben von Pixeln auf jedes Einzelbild beinhaltet.
Verfahren nach Anspruch 1, wobei das Optimieren Lösen der nichtlinearen Gleichung durch eine nichtlineare Kleinste-Quadrate-Optimierungsformel (NLLSQ-Optimierungsformel) für mehrere Markierungen an dem Anhänger mittels 6 = $\begin{array}{l} \hat{o} = min_{o} ƒ (o) = □ min_{o} \frac{1}{2} {‖ r (o) ‖}^{2} w o b e i r (o) = {[r^{1} (o), \dots, r^{m} (o)]}^{T}, r^{t} (o) = \bar{r^{2}} - ‖ o - \\ {q^{t} ‖}^{2} u n d \bar{r^{2}} = \frac{1}{M} \sum_{t = 1}^{M} {‖ o - q^{t} ‖}^{2} \end{array}$

beinhaltet, wobei 6 der Kopplungspunkt auf einer Anhängerebene ist und q Schätzungen für eine vorbestimmte Vielzahl von Markierungen an dem Anhänger darstellt.
Verfahren nach Anspruch 7, wobei die NLLSQ-Optimierungsformel mittels eines oder mehrerer numerischer Verfahren zum Lösen der nichtlinearen Gleichung gelöst wird, die Lösen einer Jacobi-Matrix derart, dass sie an dem Kopplungspunkt konvergiert, beinhalten.
Verfahren nach Anspruch 8, wobei die Jacobi-Matrix mit einem Fehlerarray verkettet ist, wenn die vorbestimmte Vielzahl von Markierungen an dem Anhänger nicht symmetrisch an dem Anhänger positioniert ist.
Verfahren nach Anspruch 1, ferner umfassend Schätzen eines Kupplungswinkels zwischen dem Fahrzeug und dem Anhänger unter Verwendung einer geschätzten Anhängerabmessung und der Vielzahl von Einzelbildern mit dem Drehpunkt an einem geschätzten Standort einer Kupplungskugel des Fahrzeugs, unter Verwendung geometrischer Knickwinkel- und Optimierungstechniken.
System für ein Fahrzeug, umfassend: einen Speicher, der computerausführbare Anweisungen speichert; einen Prozessor, der dazu konfiguriert ist, auf den Speicher zuzugreifen und die computerausführbaren Anweisungen für Folgendes auszuführen: Empfangen einer Vielzahl von Einzelbildern von einer Kamera, die auf eine Vorderseite des Anhängers gerichtet ist, der an einem Kopplungspunkt an das Fahrzeug gekoppelt ist; Modellieren der Einzelbilder in einem neuronalen Faltungsnetzwerk, um eine anfängliche Schätzung einer Drehpunktposition als einen Standort zu bilden; Optimieren des Modells unter Verwendung einer nichtlinearen Gleichung, um die Drehpunktposition zu identifizieren; Bestimmen eines Standorts des Kopplungspunkts als die Drehpunktposition; und Verwenden eines geometrischen Knickwinkels, um einen momentanen Kupplungswinkel für eine Kombination aus sich bewegendem Fahrzeug und Anhänger auf Grundlage eines Standorts der Drehpunktposition und eines Verfolgungssystems, das Markierungspunkte an einer Vorderseite des Anhängers auf einem Kreisbogen verfolgt, zu schätzen.
System nach Anspruch 11, wobei der Prozessor dazu konfiguriert ist, Anweisungen zum Empfangen der Vielzahl von Einzelbildern über einen Drehbereich von der Kamera auszuführen, wobei die Kamera an das Fahrzeug gekoppelt ist.
System nach Anspruch 11, wobei der Prozessor dazu konfiguriert ist, Anweisungen zum Modellieren der Einzelbilder in dem neuronalen Faltungsnetzwerk mithilfe einer Vielzahl von Begrenzungsrahmen, die als Standorte vorbestimmter Markierungen an der Vorderseite des Anhängers zentriert ist, auszuführen, wobei das Modellieren der Einzelbilder über eine umgekehrte Lochproj ektion eines Pixels auf ein dreidimensionales Koordinatensystem, das auf eine Anhängerebene projiziert ist, erfolgt, damit berechnete Markierungspositionen aus der Vielzahl von Einzelbildern relative Abmessungen des Anhängers und einen Standort des Kopplungspunkts bestimmen können.
System nach Anspruch 11, wobei der Prozessor dazu konfiguriert ist, Anweisungen zum Verarbeiten der Vielzahl von Einzelbildern von der an dem Fahrzeug befindlichen Kamera auszuführen, wobei die Vielzahl von Einzelbildern auf Verzeichnung korrigiert ist, wenn die Kamera ein ungenaues Weitwinkelobjektiv beinhaltet, wobei die Einzelbilder durch Objektivkalibrierung korrigiert ist.
System nach Anspruch 11, wobei der Prozessor dazu konfiguriert ist, Anweisungen zum Modellieren der Einzelbilder in dem neuronalen Faltungsnetzwerk durch Anwenden von auf Deep-Learning basierter Objektdetektion und auf Computer Vision basierter Verfolgung von Markierungsstandorten an dem Anhänger und Ausgeben von Mittelpunkten als Zeilen- und Spaltenangaben von Pixeln auf jedes Einzelbild auszuführen.