DE102023100546A1

DE102023100546A1 - Systeme und verfahren zur anhängerwinkeldetektion

Info

Publication number: DE102023100546A1
Application number: DE102023100546.4A
Authority: DE
Inventors: Gaurav Pandey; Nikita Jaipuria
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2022-01-19
Filing date: 2023-01-11
Publication date: 2023-07-20
Also published as: US20230227104A1

Abstract

Ein System zur Identifizierung eines Anhängerwinkels beinhaltet eine Bildgebungsvorrichtung, die dazu konfiguriert ist, ein Bild aufzunehmen. Eine Steuerung ist dazu konfiguriert, Lenkwinkeldaten zu empfangen, die einem Lenkwinkel eines Fahrzeugs entsprechen, Fahrzeuggeschwindigkeitsdaten zu empfangen, die einer Fahrzeuggeschwindigkeit entsprechen, und einen Winkel des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz zu schätzen.

Description

GEBIET DER OFFENBARUNG
Die vorliegende Offenbarung betrifft im Allgemeinen Anhängerrückfahrassistenzsysteme und insbesondere Anhängerrückfahrassistenzsysteme, die eine Anhängerwinkeldetektion durch Bildverarbeitung verwenden.
ALLGEMEINER STAND DER TECHNIK
Das Rückwärtsfahren eines Fahrzeugs, während ein Anhänger gezogen wird, kann für viele Fahrer eine Herausforderung darstellen, insbesondere für Fahrer, die selten mit einem Anhänger oder mit verschiedenen Arten von Anhängern fahren. Einige Systeme, die verwendet werden, um einen Fahrer beim Rückwärtsfahren eines Anhängers zu unterstützen, stützen sich auf Anhängerwinkelmessungen, um die Position des Anhängers relativ zum Fahrzeug zu bestimmen. Daher kann die Genauigkeit und Zuverlässigkeit der Anhängerwinkelmessungen für den Betrieb des Anhängerrückfahrassistenzsystems von entscheidender Bedeutung sein.
KURZDARSTELLUNG DER OFFENBARUNG
Gemäß einem ersten Aspekt der vorliegenden Offenbarung umfasst ein System zur Identifizierung eines Anhängerwinkels eine Bildgebungsvorrichtung, die dazu konfiguriert ist, mindestens ein Bild eines Anhängers aufzunehmen. Eine Steuerung ist dazu konfiguriert, Lenkwinkeldaten zu empfangen, die einem Lenkwinkel eines Fahrzeugs entsprechen, Fahrzeuggeschwindigkeitsdaten zu empfangen, die einer Fahrzeuggeschwindigkeit entsprechen, und einen Winkel des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des mindestens einen Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz zu schätzen.
Ausführungsformen des ersten Aspekts der vorliegenden Offenbarung können ein beliebiges oder eine Kombination der folgenden Merkmale beinhalten:

- das mindestens eine neuronale Netz umfasst ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das mindestens eine Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten;
- eine Ausgabe des zweiten neuronalen Netzes ist ein geschätzter Bereich einer Änderung des Winkels;
- das mindestens eine neuronale Netz umfasst ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten;
- das dritte neuronale Netz ist ein vollständig verbundenes neuronales Netz;
- die Steuerung ist ferner dazu konfiguriert, das dritte neuronale Netz zu trainieren, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen;
- das dritte neuronale Netz ist ferner dazu trainiert, den Winkel durch Vergleichen des Winkels mit der ersten Ausgabe und der zweiten Ausgabe zu begrenzen; und
- die Steuerung ist ferner dazu konfiguriert, den Winkel mit einer vorherigen Schätzung des Winkels, der durch das mindestens eine Netz geschätzt wurde, zu vergleichen.

Gemäß einem zweiten Aspekt der vorliegenden Offenbarung umfasst ein Verfahren zum Identifizieren eines Anhängerwinkels Aufnehmen mindestens eines Bildes eines Anhängers in einem Sichtfeld, Empfangen von Lenkwinkeldaten, die einem Lenkwinkel eines Fahrzeugs entsprechen, Empfangen von Fahrzeuggeschwindigkeitsdaten, die einer Fahrzeuggeschwindigkeit entsprechen, und Schätzen eines Winkels des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz.
Ausführungsformen des zweiten Aspekts der vorliegenden Offenbarung können ein beliebiges oder eine Kombination aus den folgenden Merkmalen beinhalten:

- das mindestens eine neuronale Netz umfasst ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten;
- eine Ausgabe des zweiten neuronalen Netzes ist ein geschätzter Bereich einer Änderung des Winkels;
- das mindestens eine neuronale Netz umfasst ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten;
- das dritte neuronale Netz ist ein vollständig verbundenes neuronales Netz;
- Trainieren des dritten neuronalen Netzes über eine Steuerung, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen;
- das dritte neuronale Netz ist ferner dazu trainiert, den Winkel durch Vergleichen des Winkels mit der ersten Ausgabe und der zweiten Ausgabe zu begrenzen;
- Vergleichen des Winkels mit einer vorherigen Schätzung des Winkels, der durch das mindestens eine Netz geschätzt wurde; und
- Begrenzen des Winkels auf Grundlage des Vergleichs des Winkels mit der vorherigen Schätzung des Winkels.

Gemäß einem dritten weiteren Aspekt der vorliegenden Offenbarung umfasst ein System zur Identifizierung eines Anhängerwinkels eine Bildgebungsvorrichtung, die dazu konfiguriert ist, ein Bild aufzunehmen, einen Winkelsensor, der dazu konfiguriert ist, einen Lenkwinkel eines Fahrzeugs zu messen, einen Geschwindigkeitssensor, der dazu konfiguriert ist, eine Fahrzeuggeschwindigkeit zu messen, und eine Steuerung, die dazu konfiguriert ist, das Bild in einem ersten neuronalen Netz zu verarbeiten, das dazu trainiert ist, einen ersten Winkel des Anhängers relativ zu dem Fahrzeug zu schätzen, den Lenkwinkel und die Fahrzeuggeschwindigkeit in einem zweiten neuronalen Netz zu verarbeiten, das dazu trainiert ist, eine geschätzte Änderung des Anhängerwinkels zu bestimmen, den Anhängerwinkel auf Grundlage des ersten Winkels und der geschätzten Änderung zu schätzen und den Anhängerwinkel durch Vergleichen der geschätzten Änderung mit einer Differenz des Anhängerwinkels und einer vorherigen Schätzung des Anhängerwinkels zu aktualisieren.
Ausführungsformen des dritten Aspekts der vorliegenden Offenbarung können ein beliebiges oder eine Kombination der folgenden Merkmale beinhalten:

- die geschätzte Änderung des Anhängerwinkels beinhaltet einen Bereich mit einer minimalen Winkeländerung und einer maximalen Winkeländerung.

Diese und weitere Merkmale, Vorteile und Ziele der vorliegenden Offenbarung können durch den Fachmann anhand der nachfolgenden Beschreibung, Patentansprüche und angehängten Zeichnungen besser verstanden und nachvollzogen werden.
Figurenliste
In den Zeichnungen gilt Folgendes:

1 ist eine perspektivische Draufsicht auf ein an einem Anhänger angebrachtes Fahrzeug mit einer Ausführungsform eines Anhängerwinkelsensors zum Betreiben eines Anhängerrückfahrassistenzsystems gemäß einem Aspekt der Offenbarung;
2 ist ein Blockdiagramm, das eine Ausführungsform des Anhängerrückfahrassistenzsystems veranschaulicht;
3 ist ein kinematisches Modell des in 1 gezeigten Fahrzeugs und Anhängers gemäß einem Aspekt der Offenbarung;
4 ist eine detaillierte schematische Darstellung einer Verbindungsschnittstelle zwischen einem Fahrzeug und einem Anhänger, die einen Anhängerwinkelsensor gemäß einem Aspekt der Offenbarung darstellt;
5 ist ein Prozessdiagramm einer Anhängerwinkeldetektionsroutine gemäß einem Aspekt der vorliegenden Offenbarung;
6 ist ein Prozessdiagramm eines Trainingsprozesses für mindestens ein neuronales Netz, das zum Schätzen eines Winkels zwischen einem Fahrzeug und einem Anhänger konfiguriert ist, gemäß einem Aspekt der vorliegenden Offenbarung;
7 ist ein Prozessdiagramm eines Betriebsprozesses für mindestens ein neuronales Netz, das zum Schätzen eines Winkels zwischen einem Fahrzeug und einem Anhänger konfiguriert ist, gemäß einem Aspekt der Offenbarung;
8 ist ein Ablaufdiagramm eines Betriebsprozesses für mindestens ein neuronales Netz, das zum Schätzen eines Winkels zwischen einem Fahrzeug und einem Anhänger konfiguriert ist, gemäß einem Aspekt der Offenbarung;
9 ist eine schematische Darstellung von Bilddaten, die durch eine Rückfahrkamera eines Fahrzeugs aufgenommen werden und einen relevanten Bereich einer Verbindungsschnittstelle zwischen einem Fahrzeug und einem Anhänger darstellen, gemäß einem Aspekt der Offenbarung;
10A ist ein Beispiel für ein zugeschnittenes Bild der Verbindungsschnittstelle mit Ausgabedaten, die das zugeschnittene Verbindungsbild überlagern, gemäß einem Aspekt der Offenbarung;
10B ist ein Beispiel für ein zugeschnittenes Bild der Verbindungsschnittstelle mit Ausgabedaten, die das zugeschnittene Verbindungsbild überlagern, gemäß einem Aspekt der Offenbarung;
11A ist ein Beispiel für die Ausgabedaten aus 10A, wobei Bilddaten weggelassen sind, gemäß einem Aspekt der Offenbarung; und
11B ist ein Beispiel für die Ausgabedaten aus 10B, wobei Bilddaten weggelassen sind, gemäß einem Aspekt der Offenbarung.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Zum Zwecke der Beschreibung hierin versteht es sich, dass das offenbarte Anhängerrückfahrassistenzssystem und die verwandten Verfahren verschiedene alternative Ausführungsformen und Ausrichtungen annehmen können, sofern nicht ausdrücklich das Gegenteil angegeben ist. Zudem versteht es sich, dass die in den beigefügten Zeichnungen veranschaulichten und in der nachstehenden Patentschrift beschriebenen konkreten Vorrichtungen und Prozesse lediglich beispielhafte Ausführungsformen der in den beigefügten Patentansprüchen definierten Erfindungsgedanken sind. Während verschiedene Aspekte des Anhängerrückfahrassistenzssystems und der zugehörigen Verfahren unter Bezugnahme auf eine konkrete veranschaulichende Ausführungsform beschrieben sind, ist die vorliegende Offenbarung nicht auf derartige Ausführungsformen beschränkt, und zusätzliche Modifikationen, Anwendungen und Ausführungsformen können umgesetzt werden, ohne von der offenbarten Erfindung abzuweichen. Somit sind konkrete Abmessungen und andere körperliche Eigenschaften im Zusammenhang mit den in dieser Schrift offenbarten Ausführungsformen nicht als einschränkend zu betrachten, sofern die Patentansprüche nicht ausdrücklich etwas anderes besagen.
Im hier verwendeten Sinne bedeutet der Begriff „und/oder“, wenn er in einer Liste von zwei oder mehr Elementen verwendet wird, dass jedes der aufgeführten Elemente für sich selbst eingesetzt werden kann oder jede Kombination von zwei oder mehr der aufgeführten Elemente eingesetzt werden kann. Zum Beispiel kann, wenn eine Zusammensetzung als die Komponenten A, B und/oder C enthaltend beschrieben ist, die Zusammensetzung nur A; nur B; nur C; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B und C in Kombination enthalten.
Unter Bezugnahme auf die 1, 2 und 3 bezeichnet das Bezugszeichen 8 im Allgemeinen ein Anhängerrückfahrassistenzsystem zum Steuern eines Rückfahrwegs eines Anhängers 10, der an einem Fahrzeug 12 angebracht ist. Das System 8 kann es einem Fahrer des Fahrzeug 12 ermöglichen, eine gewünschte Krümmung des Rückfahrwegs des Anhängers 10 festzulegen. Um einen derartigen Betrieb zu erreichen, kann ein Anhängerwinkel γ (in 3 gezeigt) zwischen dem Fahrzeug 12 und dem Anhänger 10 überwacht werden, um während des gesamten Betriebs eine Rückmeldung an das System 8 zu liefern. Das genaue Detektieren des Anhängerwinkels γ kann jedoch schwierig sein, wenn man die großen Unterschiede bei den Anhängerkupplungsarten, wetterbezogene Sichtverhältnisse, Lichtverhältnisse, Winkelbereiche des Anhängers, Unregelmäßigkeiten der Fahroberfläche, Straßenmarkierungen (z. B. Parkstreifen, Fahrspurlinien usw.) und verschiedene zusätzliche Variablen, die zu Messabweichungen führen können, betrachtet. Um die Zuverlässigkeit der Identifizierung des Anhängerwinkels γ zu verbessern, stellt die Offenbarung ein verbessertes System und Verfahren bereit, damit End-to-End-Learning einen Anhängerwinkel γ identifizieren kann.
Insbesondere stellt die Offenbarung die Detektion des Anhängerwinkels γ auf Grundlage der durch eine Bildgebungsvorrichtung 14 aufgenommenen Bilddaten und Sensordaten, die einem Lenkwinkel δ des Fahrzeugs entsprechen, und der Fahrzeuggeschwindigkeit v bereit. Auf Grundlage der durch die Bildgebungsvorrichtung 14 aufgenommenen Bilddaten kann das System 8 verschiedene Eigenschaften des Anhängers 10 auf Grundlage einer Vielzahl von Bildverarbeitungstechniken (z. B. Kantendetektion, Hintergrundsubtraktion, Vorlagenanpassung usw.) identifizieren. Aufgrund von Schwankungen im Hinblick auf den Anhänger 10 und die örtliche Umgebung (z. B. Schatten, strukturierte Flächen, Geräusche, Parkstreifen usw.) sind herkömmliche Bildverarbeitungstechniken möglicherweise nicht robust genug, um den Anhängerwinkel γ ohne die Hilfe von zusätzlichen Sensormodulen, die dazu konfiguriert sind, verschiedene Aspekte im Hinblick auf den Anhängerwinkel γ zu messen, zuverlässig und genau zu überwachen.
Wie hierin erörtert, können die verbesserten Systeme und Verfahren neuronale Netze nutzen, um die Zuverlässigkeit und Genauigkeit des identifizierten Anhängerwinkels γ zu verbessern, um den Betrieb des Systems 8 zu verbessern. Die neuronalen Netze und verwandten Verfahren können dazu konfiguriert sein, zu lernen, wie der Anhängerwinkel γ genau ohne menschliches Eingreifen detektiert wird, sodass das sich daraus ergebende neuronale Netz den Anhängerwinkel nur auf Grundlage von Bilddaten, die von der Bildgebungsvorrichtung 14 erhalten wurden, und der Sensordaten, die von Erfassungsvorichtungen erlangt werden, die bereits im Fahrzeug bereitgestellt sind, wie etwa ein Lenkradwinkelsensor und ein Fahrzeuggeschwindigkeitssensor, genau identifizieren kann. Dementsprechend können die hierin erörterten Verfahren und Systeme den Anhängerwinkel γ nur auf Grundlage der von der Bildgebungsvorrichtung 14 erlangten Bilddaten und Sensordaten von Sensoren, die bereits im Fahrzeug beinhaltet sind, ohne Notwendigkeit gemusterter Markierungen, visueller Hinweise oder anderer Hilfsmittel detektieren, die ansonsten erforderlich sein könnten, um einen genauen Betrieb des Systems 8 zu ermöglichen.
Wie weiter unter Bezugnahme auf die 3-6 erörtert, stellt die Offenbarung eine Lösung für die Detektion des Anhängerwinkels γ auf Grundlage von Deep-Learning- und Faltungsnetzen bereit. Auf diese Weise kann das System 8 den Anhängerwinkel γ auf Grundlage von einem End-to-End-Ansatz zur Winkelschätzung unter Verwendung nur der vorhandenen Rückfahrkamera (z. B. Bildgebungsvorrichtung 14 des Fahrzeugs 12) und der Sensoren, die typischerweise in einem Fahrzeug beinhaltet sind (z. B. Sensoren eines erweiterten Fahrerassistenzsystems (advanced driver-assistance system - ADAS)) zuverlässig schätzen. Wie hierin erörtert, können die tiefen neuronalen Netze, die zur Detektion des Anhängerwinkels γ bereitgestellt sind, Tausende oder Millionen abstimmbarer Parameter beinhalten. Auf Grundlage dieser Parameter kann das System 8 die nichtlinearen Modelle genau darstellen, während es gegenüber Rauschen sehr robust ist. In einigen Ausführungsformen können Faltungsschichten trainiert werden, um verschiedene Merkmale zu detektieren, ähnlich der menschlichen Wahrnehmung, da derartige Netze Szenarien für eine spätere Detektion verallgemeinern können.
Unter weiterer Bezugnahme auf die 1, 2 und 3 ist das Fahrzeug 12 als ein Pickup ausgeführt, der schwenkbar an einer Ausführungsform des Anhängers 10 angebracht ist. Der Anhänger 10 kann einen Kastenrahmen 16 mit einem umschlossenen Laderaum 18 umfassen. Eine Achse 20 des Anhängers kann mit Rädern 22 und 24 wirkgekoppelt sein, und eine Zunge 26 kann sich von dem umschlossenen Ladebereich 18 in Längsrichtung nach vorne erstrecken. Der veranschaulichte Anhänger 10 umfasst einen Anhängerkupplungsverbinder in Form einer Kopplerbaugruppe 28. Die Kopplerbaugruppe 28 ist über eine Kupplungskugel 30, die über eine Deichsel mit dem Fahrzeug 12 verbunden sein kann, mit einem Fahrzeug 12 verbunden. Im Betrieb kann die Kopplerbaugruppe 28 an der Kupplungskugel 30 einrasten, um einen schwenkbaren Kupplungspunkt 32 bereitzustellen, der eine Gelenkverbindung des Anhängerwinkels γ zwischen dem Fahrzeug 12 und dem Anhänger 10 ermöglicht.
Wie in 3 gezeigt, ist der Anhängerwinkel γ in Bezug auf eine Anzahl von Parametern des Fahrzeugs 12 und des Anhängers 10 gezeigt. Im Betrieb kann das kinematische Modell, das in 3 dargestellt ist, als Basis für das System 8 genutzt werden, um die Navigation des Fahrzeugs 12 zu steuern, um den Anhänger 10 entlang eines berechneten Weges zu lenken. Während derartiger Vorgänge kann das System 8 den Anhängerwinkel γ überwachen, um sicherzustellen, dass der Anhänger 10 durch das Fahrzeug 12 genau geführt wird. Zu den Parametern, die für das Modell genutzt werden können, gehören unter anderem die folgenden:

δ: Lenkwinkel an gelenkten Rädern 40 des Fahrzeugs 12;
v: Geschwindigkeit des Fahrzeugs (Fahrzeuggeschwindigkeit);
α: Gierwinkel des Fahrzeugs 12;
β : Gierwinkel des Anhängers 10;
γ: Anhängerwinkel zwischen dem Fahrzeug 12 und dem Anhänger 10 (γ = ,β -α);
W: Radstandlänge zwischen einer Vorderachse 42 und einer Hinterachse 44 des Fahrzeugs 12;
L: Deichsellänge zwischen dem Kupplungspunkt 32 und der Hinterachse 44 des Fahrzeugs 12; und
D: Anhängerlänge zwischen Kupplungspunkt 32 und der Achse 20 des Anhängers 10 oder der Nutzachse bei Mehrachsanhängern.

Es versteht sich, dass zusätzliche Ausführungsformen des Anhängers 10 alternativ mit dem Fahrzeug 12 gekoppelt werden können, um eine Schwenkverbindung bereitzustellen, wie etwa durch Verbinden mit einem Sattelkupplungsverbinder. Es wird auch in Betracht gezogen, dass zusätzliche Ausführungsformen des Anhängers 10 mehr als eine Achse beinhalten und verschiedene Formen und Größen aufweisen können, die für unterschiedliche Lasten und Gegenstände konfiguriert sind, wie etwa einen Bootsanhänger oder einen Flachbettanhänger.
In einigen Ausführungsformen kann das Anhängerrückfahrassistenzsystem 8 auch die Bildgebungsvorrichtung 14 beinhalten, die sich am Heck des Fahrzeugs 12 befindet und zum Abbilden von einer Szene hinter dem Fahrzeug konfiguriert ist. Die Bildgebungsvorrichtung 14 kann sich zentral in einem oberen Bereich einer Fahrzeugheckklappe 46 befinden, sodass die Bildgebungsvorrichtung 14 relativ zu der Zunge 26 des Anhängers 10 erhöht ist. Die Bildgebungsvorrichtung 14 weist ein Sichtfeld 48 auf, das dazu angeordnet und ausgerichtet ist, ein oder mehrere Bilder aufzunehmen, die unter anderem die Zunge 26 des Anhängers 10 und die Kupplungskugel 30 beinhalten können. Aufgenommene Bilder oder Bilddaten können an eine Steuerung 50 des Anhängerrückfahrassistenzsystems 8 geliefert werden. Wie hierin erörtert, können die Bilddaten durch die Steuerung 50 verarbeitet werden, um den Anhängerwinkel γ zwischen dem Fahrzeug 12 und dem Anhänger 10 zu bestimmen.
Unter Bezugnahme auf 2 kann die Steuerung 50 einen Mikroprozessor 52 und/oder andere analoge und/oder digitale Schaltung zum Verarbeiten von einer oder mehreren Logikroutinen in einem Speicher 54 gespeichert umfassen. Die Logikroutinen können eine oder mehrere Anhängerwinkeldetektionsroutinen 56 beinhalten, die ein oder mehrere neuronale Netze für Deep Learning sowie Betriebsroutinen 58 umfassen können, die dazu konfiguriert sein können, das Fahrzeug 12 zu führen. Informationen von der Bildgebungsvorrichtung 14 oder anderen Komponenten des Anhängerrückfahrassistenzsystems 8 können über ein Kommunikationsnetz des Fahrzeugs 12, das ein CAN (controller area network), ein LIN (local interconnect network) oder andere übliche Protokolle beinhalten kann, die in der Automobilbranche verwendet werden, an die Steuerung 50 geliefert werden. Es versteht sich, dass die Steuerung 50 eine unabhängige dedizierte Steuerung oder eine gemeinsam genutzte Steuerung sein kann, die in die Bildgebungsvorrichtung 14 oder andere Komponente des Anhängerrückfahrassistenzsystems 8 integriert sein kann, zusätzlich zu beliebigen anderen denkbaren Steuersystemen an Bord des Fahrzeugs und außerhalb desselben.
In einer beispielhaften Ausführungsform kann die Steuerung 50 des Anhängerrückfahrassistenzsystems 8 dazu konfiguriert sein, mit einer Vielzahl von Fahrzeuganlagen zu kommunizieren. Das Anhängerrückfahrassistenzsystem 8 kann ein Fahrzeugsensormodul 60 beinhalten, das bestimmte Dynamiken des Fahrzeugs 12 überwacht. Das Fahrzeugsensormodul 60 kann eine Vielzahl von Signalen generieren, die an die Steuerung 50 übermittelt wird, und kann ein Fahrzeuggeschwindigkeitssignal, das durch einen Geschwindigkeitssensor 62 generiert wird, und ein Fahrzeuggierratensignal, das durch einen Gierratensensor 64 generiert wird, beinhalten. Eine Lenkeingabevorrichtung 66 kann bereitgestellt sein, um es einem Fahrer zu ermöglichen, die gewünschte Krümmung des Rückwärtswegs des Anhängers 10 zu steuern oder auf andere Weise zu modifizieren.
Die Lenkeingabevorrichtung 66 kann auf drahtgebundene oder drahtlose Weise kommunikativ mit der Steuerung 50 gekoppelt sein. In dieser Konfiguration kann die Lenkeingabevorrichtung 66 die Steuerung 50 mit Informationen versorgen, die die gewünschte Krümmung des Rückfahrwegs des Anhängers 10 definieren. Als Reaktion darauf kann die Steuerung 50 die Informationen verarbeiten und entsprechende Lenkbefehle generieren, die dem Servolenksystem 68 des Fahrzeugs 12 zugeführt werden. In einigen Ausführungsformen kann die Lenkeingabevorrichtung 66 einen drehbaren Knopf 70 umfassen, der betreibbar ist, um sich in Positionen zu drehen, die einer inkrementellen Änderung der gewünschten Krümmung eines Rückwärtswegs des Anhängers 10 entsprechen können.
Gemäß einigen Ausführungsformen kann die Steuerung 50 des Anhängerrückfahrassistenzsystems 8 das Servolenksystem 68 des Fahrzeugs 12 steuern, um die gelenkten Räder 40 zu betreiben, um das Fahrzeug 12 derart zu lenken, dass der Anhänger 10 in Übereinstimmung mit der gewünschten Krümmung des Rückfahrweges des Anhängers 10 reagiert. Das Servolenksystem 68 kann ein elektrisches Servolenksystem (electric powerassisted steering system - EPAS-System) sein, das einen elektrischen Lenkmotor 74 zum Drehen der gelenkten Straßenräder 40 auf einen Lenkwinkel δ auf Grundlage eines durch die Steuerung 50 generierten Lenkbefehls beinhaltet. In dieser Konfiguration kann der Lenkwinkel δ durch einen Lenkwinkelsensor 76 des Servolenksystems 68 erfasst und der Steuerung 50 bereitgestellt werden. Der Lenkwinkelsensor 76 kann an eine Lenksäule des Fahrzeugs 12 und/oder einen beliebigen anderen Abschnitt eines Lenksystems des Fahrzeugs gekoppelt sein, wie etwa die Lenkeingabevorrichtung 66, eine Lenkwelle, die mit der Lenksäule interagiert, die gelenkten Räder 40, Spurstangen, die mit den gelenkten Rädern 40 verbunden sind, usw. Der Lenkbefehl kann zum autonomen Lenken des Fahrzeugs 12 während eines Rückfahrmanövers bereitgestellt werden und kann alternativ dazu manuell über eine Drehposition (z. B. einen Lenkradwinkel) der Lenkeingabevorrichtung 66 oder des Drehknopfs 70 bereitgestellt werden.
In einigen Ausführungsformen kann die Lenkeingabevorrichtung 66 (z. B. das Lenkrad) des Fahrzeugs 12 mechanisch an die gelenkten Räder 40 des Fahrzeugs 12 gekoppelt sein, sodass sich die Lenkeingabevorrichtung 66 über ein Innenmoment in Übereinstimmung mit den gelenkten Rädern 40 bewegen kann, wodurch ein manuelles Eingreifen über die Lenkeingabevorrichtung 66 während der autonomen Lenkung des Fahrzeugs 12 verhindert wird. In derartigen Fällen kann das Servolenksystem 68 einen Drehmomentsensor 80 beinhalten, der ein Drehmoment (z. B. Greifen und/oder Drehen) an der Lenkeingabevorrichtung 66 erfasst, das bei einer autonomen Steuerung der Lenkeingabevorrichtung 66 möglicherweise nicht zu erwarten ist. Ein derartiges unerwartetes Drehmoment kann durch die Steuerung 50 detektiert werden, um ein manuelles Eingreifen des Fahrers anzugeben. In einigen Ausführungsformen kann auf die Lenkeingangsvorrichtung 66 ausgeübtes externes Drehmoment als ein Signal an die Steuerung 50 dienen, dass der Fahrer die manuelle Steuerung übernommen hat und das Anhängerrückfahrassistenzsystem 8 die autonome Lenkfunktion beenden soll.
Die Steuerung 50 des Anhängerrückfahrassistenzsystems 8 kann zudem mit einem Fahrzeugbremssteuersystem 82 des Fahrzeugs 12 kommunizieren, um Fahrzeuggeschwindigkeitsinformationen, wie etwa einzelne Radgeschwindigkeiten des Fahrzeugs 12, zu empfangen. Zusätzlich oder alternativ dazu können Fahrzeuggeschwindigkeitsinformationen an die Steuerung 50 unter anderem durch ein Antriebsstrangsteuersystem 84 und/oder den Fahrzeuggeschwindigkeitssensor 62 bereitgestellt werden. Die Fahrzeuggeschwindigkeitsinformationen können Geschwindigkeitsinformationen beinhalten, wie etwa eine Fahrzeuggeschwindigkeit v, die die Geschwindigkeit des Fahrzeugs 12 widerspiegelt, und Richtungsinformationen, die die Richtung der Fahrzeuggeschwindigkeit v angeben. Der Geschwindigkeitssensor 62 kann an einen beliebigen Abschnitt des Fahrzeugs gekoppelt sein, der in der Lage sein kann, eine Geschwindigkeit des Fahrzeugs 12 zu detektieren, wie etwa eine Gaspedalbaugruppe, eine Bremspedalbaugruppe, ein Kraftstoffeinspritzsystem, ein Gyroskop, das Antriebsstrangsteuersystem 84 und dergleichen. Es ist denkbar, dass einzelne Raddrehzahlen verwendet werden, um eine Fahrzeuggierrate zu bestimmen, die der Steuerung 50 alternativ oder zusätzlich zu der von dem Gierratensensor 64 des Fahrzeugsensormoduls 60 gemessenen Fahrzeuggierrate bereitgestellt werden kann. In einigen Ausführungsformen kann die Steuerung 50 Bremsbefehle an das Fahrzeugbremssteuersystem 82 bereitstellen, wodurch dem Anhängerrückfahrassistenzsystem 8 ermöglicht wird, die Geschwindigkeit des Fahrzeugs 12 während eines Rückfahrmanövers des Anhängers 10 zu verwalten. Es versteht sich, dass die Steuerung 50 zusätzlich oder alternativ dazu die Geschwindigkeit des Fahrzeugs 12 über eine Interaktion mit dem Antriebsstrangsteuersystem 84 verwalten kann.
Durch die Interaktion mit dem Servolenksystem 68, dem Fahrzeugbremssteuersystem 82 und/oder dem Antriebsstrangsteuersystem 84 des Fahrzeugs 12 kann das Potenzial für inakzeptable Anhängerrückfahrbedingungen reduziert werden. Beispiele für inakzeptable Anhängerrückfahrbedingungen beinhalten unter anderem eine Geschwindigkeitsüberschreitungsbedingung des Fahrzeugs, eine hohe Anhängerwinkelrate, eine dynamische Instabilität des Anhängerwinkels, eine Anhängerquerstellbedingung, Sensorprobleme und dergleichen. Unter derartigen Umständen ist sich der Fahrer des Problems möglicherweise nicht bewusst, bis die inakzeptable Anhängerrückfahrbedingung unmittelbar bevorsteht oder bereits eintritt. Um derartige Bedingungen zu vermeiden, kann die Steuerung 50 dazu konfiguriert sein, den Anhängerwinkel γ genau zu überwachen, wodurch eine Rückmeldung bereitgestellt wird, um einen genauen Betrieb sicherzustellen.
Gemäß einigen Ausführungsformen kann die Steuerung 50 mit einen oder mehreren Vorrichtungen, einschließlich eines Fahrzeugwarnsystems 86, kommunizieren, das visuelle, akustische und taktile Warnungen auslösen kann. Zum Beispiel können Fahrzeugbremslichter 88 und Fahrzeugwarnblinker eine visuelle Warnung bereitstellen und können eine Fahrzeughupe 90 und/oder ein Lautsprecher 92 eine hörbare Warnung bereitstellen. Zusätzlich kann die Steuerung 50 und/oder das Fahrzeugwarnsystem 86 mit einer Mensch-Maschine-Schnittstelle (MMS) 82 des Fahrzeugs 12 kommunizieren. Die MMS 82 kann eine Touchscreen-Anzeige 96 des Fahrzeugs, wie etwa eine in der Mittelkonsole angebrachte Navigations- oder Unterhaltungsanzeige, beinhalten, die Bilder anzeigen kann, die die Warnung angeben. Eine derartige Ausführungsform kann wünschenswert sein, um den Fahrer des Fahrzeugs 12 darüber zu benachrichtigen, dass eine inakzeptable Rückfahrbedingung vorliegt. Ferner wird in Betracht gezogen, dass die Steuerung 50 über eine drahtlose Kommunikation mit einer oder mehreren elektronischen tragbaren Vorrichtungen, wie etwa der tragbaren elektronischen Vorrichtung 98, die als Smartphone verkörpert ist, kommunizieren kann. Die tragbare elektronische Vorrichtung 98 kann eine Anzeige zum Anzeigen von einem oder mehreren Bildern oder anderen Informationen an den Benutzer beinhalten. Als Reaktion darauf kann die elektronische Vorrichtung 98 Rückkopplungsinformationen, wie etwa visuelle, auditive und taktile Warnungen bereitstellen.
Unter Bezugnahme auf 2 und 4 kann das System 8 ferner eine Anhängerwinkeldetektionseinrichtung 102 umfassen. Wie zuvor erörtert, kann das System 8 dazu konfiguriert sein, Parameter eines oder mehrerer neuronalen Netze ohne Eingreifen eines menschlichen Bedieners zu erlernen oder zu programmieren. Dementsprechend kann das System 8 dazu konfiguriert sein, den Anhängerwinkel γ mit der Anhängerwinkeldetektionseinrichtung 102 zu messen, um eine Bestimmung des Anhängerkupplungswinkels γ zu validieren, der anhand der durch die Bildgebungsvorrichtung 14 aufgenommenen Bilddaten und/oder der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten, die durch den Lenkwinkelsensor 76 bzw. den Fahrzeuggeschwindigkeitssensor 62 empfangen werden, identifiziert wird. Auf diese Weise kann das System 8 den Anhängerkupplungswinkel γ aus den Bilddaten identifizieren und das zugeordnete Bild automatisch mit dem durch die Anhängerwinkeldetektionseinrichtung 102 identifizierten Anhängerkupplungswinkel γ beschriften. Dementsprechend kann das System 8 die Videodaten automatisch sammeln, um das neuronale Netz zu trainieren, ohne dass ein Eingreifen von einem menschlichen Benutzer erforderlich ist.
In einer beispielhaften Ausführungsform kann die Anhängerwinkeldetektionseinrichtung 102 ein Gehäuse 104 umfassen, das an der Kupplungskugel 30 an dem Fahrzeug 12 befestigt ist. Ein an dem Anhänger 10 angebrachtes Element 106 kann sich relativ zu dem Gehäuse 104 um eine Achse 108 drehen, die durch die Kupplungskugel 30 definiert ist. Ein Verbindungselement 110 kann das Element 106 an dem Anhänger 10 befestigen, um das Element 106 in Verbindung mit einer Winkelbewegung des Anhängers 10 zu drehen. Ein Sensor 112 kann dazu konfiguriert sein, eine Drehbewegung des Elements 106 zum Bestimmen des Anhängerwinkels γ zu detektieren. Es wird in Betracht gezogen, dass das Element 106 in anderen Ausführungsformen alternativ an dem Anhänger 10 befestigt sein kann, um das Element 106 bei einer Winkelbewegung des Anhängers 10 relativ zu dem Sensor 112 zu drehen.
In verschiedenen Ausführungsformen kann der Sensor 112 als der Anhängerkupplungswinkelsensor 112 bezeichnet werden und kann durch Nutzen einer Vielzahl von Sensoren umgesetzt werden. Zum Beispiel kann der Anhängerkupplungswinkelsensor 112 als ein Näherungssensor, ein Potentiometer, ein Hall-Effekt-Sensor, ein Codierer oder verschiedene andere Formen von Sensoren umgesetzt sein, die dazu konfiguriert sein können, die Drehung des Anhängers 10 relativ zu dem Fahrzeug 12 zu messen. Wie in 4 gezeigt, ist die Anhängerwinkeldetektionseinrichtung 102 an der Kupplungskugel 30 angebracht gezeigt. Es ist jedoch denkbar, dass der Anhänger 10 eine alternative Baugruppe zu der gezeigten Kopplerbaugruppe 28 beinhalten kann und das Fahrzeug 12 einen alternativen Anhängerkupplungsverbinder beinhalten kann. Zum Beispiel kann das System 8 mit einer Sattelkupplungsverbindung, einer Kupplungskugel nach europäischen Stil oder anderen denkbaren Konfigurationen umgesetzt sein, ohne vom Geist der Offenbarung abzuweichen.
Unter Bezugnahme auf 5 ist ein beispielhaftes Prozessdiagramm der Anhängerwinkeldetektionsroutine 56 gezeigt. Im Allgemeinen involviert die Anhängerwinkeldetektionsroutine (i) Einsetzen eines ersten Prozesses 113a, um einen ersten geschätzten Anhängerwinkel γ auf Grundlage der Bilddaten zu identifizieren; (ii) gleichzeitiges Einsetzen eines zweiten Prozesses 113b, um einen zweiten geschätzten Anhängerwinkel γ auf Grundlage der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten zu identifizieren; und (iii) Einsetzen eines dritten Prozesses 113c, um eine endgültige, genauere Schätzung des Anhängerwinkels γ auf Grundlage des ersten und des zweiten geschätzten Anhängerwinkels γ zu erzeugen. Somit können drei neuronale Netze 114, 116, 118 genutzt werden, wobei jedem Prozess ein neuronales Netz zugeordnet ist. Wie veranschaulicht, kann die endgültige Schätzung des Anhängerwinkels γ als Eingabe in den dritten Prozess 113c und/oder den zweiten Prozess 113b rückgekoppelt werden. Zum Beispiel kann der zweite Prozess 113b die endgültige Schätzung des Anhängerwinkels γ einbeziehen, um zu ermölgichen, dass der zweite Prozess den zweiten geschätzten Anhängerwinkel γ im Gegensatz zu einem Bereich möglicher Anhängerwinkel erzeugt. In einigen Ausführungsformen kann das Verarbeiten der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten im Gegensatz zu einer Schätzung des Anhängerwinkels γ zu einem möglichen Bereich von Anhängerwinkeln γ führen.
Unter Bezugnahme auf die 6 und 7 ist ein erstes neuronales Netz 114 betreibbar, um von der Bildgebungsvorrichtung 14 empfangene Bilddaten und/oder Videodaten zu verarbeiten. Auf Grundlage der Bilddaten kann das erste neuronale Netz 114 betreibbar sein, um einen geschätzten Anhängerwinkel γ zu bestimmen. Gleichzeitig mit der Verarbeitung der Bilddaten kann ein zweites neuronales Netz 116 zum Verarbeiten des Lenkwinkels und der Fahrzeuggeschwindigkeit bereitgestellt sein, um eine geschätzte Änderung des Anhängerwinkels γ zu bestimmen. Ein drittes neuronales Netz 118 kann sich nachgeordnet zu dem ersten neuronalen Netz 114 und dem zweiten neuronalen Netz 116 befinden und betreibbar sein, um sowohl den geschätzten Anhängerwinkel γ als auch die geschätzte Änderung des Anhängerwinkels γ zu empfangen. Das dritte neuronale Netz 118 kann einen endgültigen geschätzten Anhängerwinkel γ generieren, indem es den geschätzten Anhängerwinkel γ mit der geschätzten Änderung des Anhängerwinkels γ vergleicht. Auf diese Weise kann die Anhängerwinkeldetektionsroutine 56 eine genaue und stabile Vorhersage des Anhängerwinkels γ bereitstellen. Wenn zum Beispiel das Fahrzeug 12 und/oder der Anhänger 10 stillsteht oder sich sehr leicht bewegt (z. B. unter 1,6 kmh), kann der endgültige geschätzte Anhängerwinkel γ über einen kurzen Zeitraum nicht wesentlich „springen“, trotz eine Ausgabe des ersten neuronalen Netzes 114, die angibt, dass der Anhängerwinkel γ dies tut. Aufgrund der Einbeziehung der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten kann der endgültige geschätzte Anhängerwinkel γ auf einen konkreten Winkelbereich begrenzt sein. Das dritte neuronale Netz 118 kann trainiert sein, um die Schätzung des Anhängerwinkels γ durch Verarbeiten einer ersten Ausgabe 120 des ersten neuronalen Netzes 114 und einer zweiten Ausgabe 121 des zweiten neuronalen Netzes 116 zu verfeinern. Es wird allgemein in Betracht gezogen, dass das Einsetzen und Trainieren des mindestens einen Netzes 114, 116, 118 gleichzeitig mit der Anwendung des mindestens einen Netzes 114, 116, 118 erfolgen kann, sodass eine wiederholte Anwendung des mindestens einen Netzes 114, 116, 118 dazu dienen kann, die Vorhersagegenauigkeit zu verbessern.
Die Anhängerwinkeldetektionseinrichtung 102 kann durch die Steuerung 50 genutzt werden, um eines oder mehrere der neuronalen Netze 114, 116, 118 der Anhängerkupplungswinkeldetektionsroutine 56 zu trainieren. Die Anhängerwinkeldetektionseinrichtung 102 ist möglicherweise nur für anfängliche Trainingsstufen des ersten neuronalen Netzes 114 erforderlich, um Beschriftungen zu erzeugen, die den Anhängerwinkel γ für jedes Bild oder mindestens einer Abtastung von Bildern, die durch die Bildgebungsvorrichtung 14 aufgenommen wurden, identifizieren. Dementsprechend kann, sobald das erste neuronale Netz 114 derart trainiert ist, dass der Anhängerwinkel γ erfolgreich durch die Anhängerkupplungswinkeldetektionsroutine 56 innerhalb einer akzeptablen oder vorbestimmten Fehlerquote identifiziert werden kann, das System 8 dazu konfiguriert sein, das erste neuronale Netz 114 zum Detektieren des Anhängerwinkels γ unter Verwendung nur der Bilddaten, die durch die Bildgebungsvorrichtung 14 aufgenommen wurden, zu nutzen.
Die Anhängerwinkeldetektionsroutine 56 wird unter Bezugnahme auf einen Trainingsprozess 56a (6) und einen Betriebsprozess 56b (7) beschrieben. Der Trainingsprozess 56a kann den Anhängerwinkel γ von der Anhängerwinkeldetektionseinrichtung 102 nutzen, um das erste neuronale Netz 114 zu trainieren, um eine erste Schätzung des Anhängerwinkels γ aus den Bilddaten zu bestimmen. Der Trainingsprozess 56a kann den Anhängerwinkel γ von der Anhängerwinkeldetektionseinrichtung 102 nutzen, um das zweite neuronale Netz 116 zu trainieren, um eine Änderung des Anhängerwinkels γ aus dem Lenkwinkel δ und der Fahrzeuggeschwindigkeit v zu bestimmen. Der Trainingsprozess 56a kann den Anhängerwinkel γ von der Anhängerwinkeldetektionseinrichtung 102 nutzen, um das dritte neuronale Netz 118 zu trainieren, um eine endgültige Schätzung der Anhängerwinkeldaten aus der ersten Ausgabe 120 des ersten neuronalen Netzes 114 und der zweiten Ausgabe 121 des zweiten neuronalen Netzes 116 zu bestimmen. Dementsprechend kann der Betriebsprozess 56b, sobald er trainiert ist, dazu konfiguriert sein, den Anhängerwinkel γ ohne Daten, die durch die Anhängerwinkeldetektionseinrichtung 102 bereitgestellt werden, zu detektieren. Die Verarbeitungsanforderungen und Schritte, die zum Erreichen des Trainingsprozesses 56a erforderlich sind, können im Hinblick auf die Verarbeitungsfähigkeit der Steuerung 50 strenger und/oder anspruchsvoller sein. Die Verarbeitungsschritte für den Trainingsprozess 56a können durch ein System abgeschlossen werden, das eine erhöhte Verarbeitungskapazität oder Verarbeitungsleistung umfasst. Zum Beispiel kann die Steuerung 50, die für den Trainingsprozess 56a genutzt wird, dazu konfiguriert sein, fähigere Bildverarbeitungs-Engines, Prozessoren, die zu erhöhten Verarbeitungsgeschwindigkeiten in der Lage sind, und im Allgemeinen eine fortschrittlichere Systemarchitektur aufzuweisen als die Steuerung 50, die für den Betriebsprozess 56b genutzt wird. Auf diese Weise kann das System 8 effektiv dazu ausgestaltet sein, eine wirtschaftliche Herstellung des Systems 8 sowohl für Trainingsausführungsformen als auch für Betriebsausführungsformen zu fördern, die in Verbraucherprodukten (z. B. dem Fahrzeug 12) integriert sein können.
Unter Bezugnahme zuerst auf den Trainingsprozess 56a kann der Mikroprozessor 52 oder allgemeiner die Steuerung 50 zuerst Bilddaten von der Bildgebungsvorrichtung 14 empfangen. Insbesondere kann die Steuerung 50 ein Bildverarbeitungsmodul 122 beinhalten, das dazu konfiguriert ist, die Bilddaten zu empfangen. Die Bilddaten können nacheinander zugeführt oder in einer Speichervorrichtung 123 gespeichert und der Bildverarbeitungsvorrichtung 122 in großen Mengen zugeführt werden. Die Steuerung 50 kann die Bilddaten zuerst über ein Vorverarbeitungsmodul 124 verarbeiten. Das Vorverarbeitungsmodul 124 kann dazu konfiguriert sein, jedes von der Bildgebungsvorrichtung 14 empfangene Einzelbild zuzuschneiden. Das Zuschneiden der Bilddaten kann auf Grundlage der Positionsbeziehung der Kupplungskugel 30 im Sichtfeld 48 konsistent verarbeitet werden. Zum Beispiel kann die Kupplungskugel 30 während einer anfänglichen Verbindung oder Einrichtung der Kupplungskugel 30 mit dem Fahrzeug 12 registriert oder identifiziert werden. Nach der Identifizierung kann die Steuerung 50 dazu konfiguriert sein, die Bilddaten von der Bildgebungsvorrichtung 14 auf Grundlage vorbestimmter Maße oder einem Teil der Bilddaten, die in Bezug auf die Stelle der Kupplungskugel 30 in dem Sichtfeld 48 bezeichnet sind, zuzuschneiden. Auf diese Weise können die dem ersten neuronalen Netz 114 zugeführten Bilddaten hinsichtlich der Positionsvariation und Qualität, die in den von der Bildgebungsvorrichtung 14 empfangenen Rohdaten ersichtlich sind, begrenzt sein.
In einigen Ausführungsformen kann die Steuerung 50 ferner dazu konfiguriert sein, die Daten über ein Bildaugmentationsmodul 126 zu verarbeiten. Das Bildaugmentationsmodul 126 kann dazu konfiguriert sein, die Bilddaten durch eine Vielzahl von Techniken zu augmentieren. Zum Beispiel können die zugeschnittenen Bilddaten, die von dem Bildvorverarbeitungsmodul 124 empfangen wurden, durch das Bildaugmentationsmodul 126 durch verschiedene Techniken augmentiert werden, einschließlich unter anderem Spiegeln, Drehen, Verschieben, Skalieren, Farbverbesserung, Histogrammdehnen, Rauschfiltern, selektives Einbeziehen von Rauschen usw. Nach der Verarbeitung der Bilddaten über das Bildvorverarbeitungsmodul 124 und/oder das Bildaugmentationsmodul 126 kann die Steuerung 50 den Anhängerwinkel γ nutzen, um jedes Einzelbild der Bilddaten über ein Anhängerwinkelbeschriftungsmodul 128 zu beschriften. Tatsächlich kann das Anhängerwinkelbeschriftungsmodul 128 als Daten umgesetzt sein, die jedem der Einzelbilder der Bilddaten zugeschrieben sind, die in das erste neuronale Netz 114 eingegeben werden können. Auf diese Weise kann der Trainingsprozess 56a vorsehen, dass die Bilddaten von der Bildgebungsvorrichtung 14 verarbeitet und in das erste neuronale Netz 114 eingegeben werden, wobei der Anhängerwinkel γ jedes Einzelbilds identifiziert wird, um die Parameter des ersten neuronalen Netzes 114 zu trainieren, um den Anhängerwinkel γ nur aus den Bilddaten genau zu identifizieren. Die erste Ausgabe 120 des ersten neuronalen Netzes 114 kann mit dem Anhängerwinkel γ verglichen werden, der von der Anhängerwinkeldetektionseinrichtung 102 berechnet wird. Eine Differenz zwischen der ersten Ausgabe 120 und dem Anhängerwinkel γ, der von der Anhängerwinkeldetektionseinrichtung 102 generiert wird, kann als Rückkopplung in das erste neuronale Netz 114 einbezogen werden. Auf Grundlage dieser Rückkopplung kann das erste neuronale Netz 114 verschiedene Gewichtungen und/oder andere Parameter des ersten neuronalen Netzes 114 anpassen, um die Genauigkeit der ersten Ausgabe 120 zu verbessern.
Unter weiterer Bezugnahme auf den Trainingsprozess 56a kann der Mikroprozessor 52 oder allgemeiner die Steuerung 50 Lenkwinkeldaten und Fahrzeuggeschwindigkeitsdaten von dem Lenkwinkelsensor 76 bzw. dem Geschwindigkeitssensor 62 empfangen. Insbesondere kann die Steuerung 50 ein Bewegungsverarbeitungsmodul 130 beinhalten, das dazu konfiguriert ist, die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu empfangen. Die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten können nacheinander zugeführt oder in der Speichervorrichtung 123 gespeichert und der Bewegungsverarbeitungsvorrichtung 130 in großen Mengen zugeführt werden. Das Bewegungsverarbeitungsmodul 130 kann ein erstes Array-Modul 132 zum Stapeln der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in einem ersten Array beinhalten. Auf diese Weise können die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten dem zweiten neuronalen Netz 116 als ein strukturierter Datensatz (z. B. ein einzelner Datenstrom im Gegensatz zu mehreren Datenströmen) zugeführt werden. Das zweite neuronale Netz 116 kann auf ähnliche Weise wie das erste neuronale Netz 114 trainiert werden. Zum Beispiel kann die zweite Ausgabe 121 des zweiten neuronalen Netzes 116 mit einer Änderung des Anhängerwinkels γ verglichen werden, der durch die Anhängerwinkeldetektionseinrichtung 102 gemessen wird. Eine Differenz zwischen der geschätzten Änderung (z. B. der zweiten Ausgabe) und einer Änderung des Anhängerwinkels γ, wie er durch die Anhängerwinkeldetektionseinrichtung 102 gemessen wird, kann als Rückkopplung in das zweite neuronale Netz 116 einbezogen werden. Auf Grundlage dieser Rückkopplung kann das zweite neuronale Netz 116 verschiedene Gewichtungen und/oder andere Parameter des zweiten neuronalen Netzes 116 anpassen, um die Genauigkeit der zweiten Ausgabe 121 zu verbessern.
Unter weiterer Bezugnahme auf den Trainingsprozess 56a kann ein Modul 134 für eine endgültige Vorhersage der Steuerung 50 dazu konfiguriert sein, die erste Ausgabe 120 und die zweite Ausgabe 121 zu empfangen. Das Modul 134 für eine endgültige Vorhersage kann ein zweites Array-Modul 136 zum Stapeln der ersten Ausgabe 120 und der zweiten Ausgabe 121 in einem zweiten Array beinhalten. Auf diese Weise können die erste Ausgabe 120 und die zweite Ausgabe 121 dem dritten neuronalen Netz als ein strukturierter Datensatz (z. B. ein einzelner Datenstrom im Gegensatz zu mehreren Datenströmen) zugeführt werden. Das dritte neuronale Netz 118 kann ebenfalls über das Einbeziehen des Anhängerwinkels γ trainiert werden, der durch die Anhängerwinkeldetektionseinrichtung 102 gemessen wird. Zum Beispiel kann eine dritte Ausgabe 137 des dritten neuronalen Netzes 118 mit einer Änderung des Anhängerwinkels γ verglichen werden, der durch die Anhängerwinkeldetektionseinrichtung 102 gemessen wird. Eine Differenz zwischen dem geschätzten Anhängerwinkel γ (z. B. der dritten Ausgabe 137) und dem Anhängerwinkel γ, wie er durch die Anhängerwinkeldetektionseinrichtung 102 gemessen wird, kann als Rückkopplung in das dritte neuronale Netz 118 einbezogen werden. Auf Grundlage dieser Rückkopplung kann das dritte neuronale Netz 118 verschiedene Gewichtungen und/oder andere Parameter des dritten neuronalen Netzes 118 anpassen, um die Genauigkeit der dritten Ausgabe 137 zu verbessern.
Im Allgemeinen kann das mindesten eine neuronale Netz 114, 116, 118 eine Vielzahl von Neuronen 138 umfassen, die in einem dreidimensionalen Array angeordnet sein sein, das eine Breite, eine Tiefe und eine Höhe umfasst. Die Anordnung der Neuronen 138 kann bereitstellen, dass jede Schicht (z. B. dimensionaler Querschnitt des Arrays) mit einem kleinen Abschnitt der vorhergehenden Schicht verbunden ist. Auf diese Weise kann das Netz 114 die Daten durch Regression verarbeiten, um jedes Bild auf einen einzelnen Vektor zu reduzieren, um den Anhängerwinkel γ zu identifizieren. Dementsprechend kann das erste neuronale Netz 114 jedes Einzelbild der Bilddaten Schicht für Schicht von den ursprünglichen Pixelwerten zur endgültigen Ausgabe umwandeln. Im Allgemeinen kann die spezifische Architektur des ersten neuronalen Netzes 114 variieren, und wie für den Fachmann ersichtlich ist, kann der Trainingsprozess 56a mit einem vortrainierten Modell beginnen. Auf diese Weise kann der Trainingsprozess 56a dazu genutzt werden, das vortrainierte, neuronale Faltungsnetz feinabzustimmen, um den Anhängerwinkel γ aus den durch die Bildgebungsvorrichtung 14 aufgenommenen Bilddaten genau zu detektieren. Beispiele von vortrainierten Modellen, die für den Trainingsprozess 56a umgesetzt werden können, können unter anderem Folgende beinhalten: LeNet, AlexNet, ZF Net, GoogLeNet, VGGNet, ResNet usw.
Sobald die Bilddaten durch das erste neuronale Netz 114 empfangen worden sind, kann eine Deep-Learning-Prozedur umgesetzt werden, um den Anhängerwinkel γ zu regredieren oder zu schätzen. Zum Beispiel kann das erste neuronale Netz 114 als tiefes Faltungsnetz umgesetzt sein. Die Architektur des ersten neuronalen Netzes 114 kann eine Vielzahl von Faltungsnetzen sein, denen Aktivierungsfunktionen folgen. Um dabei zu helfen, eine Überanpassung zu vermeiden, können Dropout-Schichten und andere Regularisierungstechniken umgesetzt werden. In einer beispielhaften Ausführungsform sind vollständig verbundene Schichten am Ende des ersten neuronalen Netzes 114 dafür verantwortlich, die Schätzung des Anhängerwinkels γ zu identifizieren. Da es das Ziel des ersten neuronalen Netzes 114 sein kann, eine Regressionsaufgabe durchzuführen, wird eine Aktivierungsfunktion am Ausgang möglicherweise nicht genutzt.
Die Anordnung der Neuronen 138 in dem zweiten neuronalen Netz 116 und dem dritten neuronalen Netz 118 kann vorsehen, dass jede Schicht (z. B. dimensionaler Querschnitt des Arrays) mit der vorhergehenden Schicht vollständig verbunden ist. Diese Anordnung des zweiten und dritten neuronalen Netzes 116, 118 kann jedes Neuron 138 in einer Schicht bereitstellen, um sich mit jedem Neuron 138 der vorhergehenden Schicht zu verbinden. Auf diese Weise kann das zweite neuronale Netz 116 die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten verarbeiten, um als strukturierte Daten zu dienen, ohne dass Faltungsschichten in dem zweiten neuronalen Netz 116 erforderlich sind, um Merkmale zu extrahieren.
Ähnlich wie das zweite neuronale Netz 116 kann das dritte neuronale Netz 118 Daten (z. B. die erste Ausgabe 120 und die zweite Ausgabe 121) als strukturierte Daten verarbeiten, ohne dass Faltungsschichten in dem dritten neuronalen Netz 118 erforderlich sind, um Merkmale zu extrahieren. Dies kann daran liegen, dass sich das dritte neuronale Netz 118 dem ersten neuronalen Netz 114 nachgelagert befinden kann, in dem bereits Faltungsschichten angewendet worden sein können, um Bildmerkmale zu extrahieren, und da das zweite neuronale Netz 116 erwartete Datentypen (z. B. Winkeldaten, wie etwa Schätzungen des Anhängerwinkels γ und geschätzte Änderungen des Anhängerwinkels γ) ausgeben kann. Auf diese Weise kann das dritte neuronale Netz 118 die empfangenen Daten durch Gewichten einzelner Neuronen 138 in spezifische Gewichtungen umwandeln, die genaue Schätzungen des Anhängerwinkels γ erzeugen. Im Allgemeinen kann die spezifische Architektur des zweiten und dritten neuronalen Netzes 116, 118 variieren, und wie für den Fachmann ersichtlich ist, kann der Trainingsprozess 56a mit einem vortrainierten Modell beginnen. Auf diese Weise kann der Trainingsprozess 56a verwendet werden, um das vortrainierte, vollständig verbundene neuronale Netz feinabzustimmen, um den Anhängerwinkel γ aus der ersten und zweiten Ausgabe 120, 121 des ersten und zweiten neuronalen Netzes 116, 118 genau zu detektieren. Beispiele von vortrainierten Modellen, die für den Trainingsprozess 56a umgesetzt werden können, können unter anderem Folgende beinhalten: LeNet, AlexNet, ZF Net, GoogLeNet, VGGNet, ResNet usw.
Unter Bezugnahme auf 7 kann der Betriebsprozess 56b der Anhängerkupplungswinkelidentifizierungsroutine 56, sobald die neuronalen Netze 114, 116, 118 trainiert sind, ohne die Notwendigkeit des Anhängerwinkels γ von der Anhängerwinkeldetektionseinrichtung 102 verarbeitet werden. Dementsprechend kann der Betrieb des Betriebsprozesses 56b auf den Trainingsprozess 56a beschränkt sein. Zum Beispiel kann die Steuerung 50 die Bilddaten auf ähnliche Weise über ein Vorverarbeitungsmodul 124 verarbeiten. Das Vorverarbeitungsmodul 124 kann dazu konfiguriert sein, jedes von der Bildgebungsvorrichtung 14 empfangene Einzelbild auf Grundlage der Positionsbeziehung der Kupplungskugel 30 in dem Sichtfeld 48 zuzuschneiden. Das Ergebnis der durch das Vorverarbeitungsmodul 124 vorgenommenen Schritte kann Bilddaten generieren, die einheitlicher sein können als die Bilddaten, die direkt von der Bildgebungsvorrichtung 14 empfangen werden. Eine derartige Einheitlichkeit in den Anteilen in Bezug auf die Kupplungskugel 30 und die Bildqualität (z. B. Kontrast, Rauschen usw.) können dafür sorgen, dass die Anhängerwinkelidentifizierungsroutine 56 die erfolgreiche Identifizierung des Anhängerwinkels γ in den Bilddaten verbessert, ohne dass die sekundären Messungen, die von der Anhängerwinkeldetektionseinrichtung 102 verfügbar sind, in dem Trainingsprozess 56a erforderlich sind. Dementsprechend kann die Offenbarung einen verbesserten Betrieb und eine verbesserte Genauigkeit des Systems 8 auf Grundlage von sowohl den durch das Modul 124 bereitgestellten Bildverarbeitungsschritten als auch der Nutzung des ersten neuronalen Netzes 114 bereitstellen.
Der Betriebsprozess 56b kann im Allgemeinen eine Vielzahl von Bildern einbeziehen, die über mehrere Instanzen aufgenommen und/oder verarbeitet wurde. Durch Aufzeichnen aufeinanderfolgender Instanzen des Anhängerwinkels γ kann eine vorherige (z. B. unmittelbar vorangehende) Schätzung des Anhängerwinkels γ mit einer aktuellen Schätzung des Anhängerwinkels γ verglichen werden, um zu überprüfen, ob ein plötzlicher Sprung in der Schätzung des Anhängerwinkels γ aufgetreten ist. Die Schätzung des aktuellen Anhängerwinkels γ kann in verschiedene Stufen des Betriebsprozesses 56b einbezogen werden, um sicherzustellen, dass das System 8 genaue und kontinuierliche Vorhersagen erzeugt. Zum Beispiel kann der Bildgeber 14 betreibbar sein, um ein erstes Bild zu einem ersten Zeitpunkt und ein zweites Bild zu einem zweiten, späteren Zeitpunkt aufzunehmen, zwischen denen der Lenkwinkel δ von dem Lenkwinkelsensor 76 und die Fahrzeuggeschwindigkeit v von dem Geschwindigkeitssensor 62 durch das Servolenksystem 68 bzw. das Fahrzeugsensormodul 60 überwacht werden kann. Lenkwinkeldaten, die dem Lenkwinkel δ entsprechen, und Fahrzeuggeschwindigkeitsdaten, die der Fahrzeuggeschwindigkeit v entsprechen, können durch die Steuerung 50 empfangen und in dem zweiten neuronalen Netz 116 verarbeitet werden.
Die Steuerung 50 kann betreibbar sein, um eine Differenz eines ersten Winkels des Anhängers relativ zu dem Fahrzeug, der bei der ersten Instanz geschätzt wird, und eines zweiten Winkels des Anhängers relativ zu dem Fahrzeug, der bei der zweiten Instanz geschätzt wird, zu berechnen. Die Differenz zwischen dem ersten Winkel und dem zweiten Winkel kann in Form eines Absolutwerts eines Winkels (z. B. 110°1) vorliegen oder kann Richtungsdaten beinhalten, wie etwa ein positives Vorzeichen oder ein negatives Vorzeichen, die widerspiegeln, in welche Richtung sich der Anhängerwinkel γ verschoben hat (z. B. -10° entsprechend einer Beifahrerseitenrichtung und 10° entsprechend einer Fahrerseitenrichtung). Durch Überwachen der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten kann die Steuerung 50 auch betreibbar sein, um eine geschätzte Änderung des Anhängerwinkels γ von der ersten Instanz zu der zweiten Instanz zu bestimmen. Zum Beispiel kann durch Nutzung kinematischer Beziehungen zwischen Drehbewegung (einschließlich Dynamik eines Drehmittelpunkts, Geschwindigkeit, Beschleunigung, Ruck usw.) die geschätzte Änderung des ersten Winkels approximiert werden, entweder in Form eines Bereichs oder in Form eines spezifischen Wertes.
Die Differenz des ersten Winkels und des zweiten Winkels sowie die geschätzte Änderung können innerhalb des Moduls 134 für eine endgültige Schätzung vor oder nach dem Anordnen in dem zweiten Array verglichen werden. Das zweite Array-Modul 136 kann dazu konfiguriert sein, die Differenz des ersten Winkels und des zweiten Winkels sowie die geschätzte Änderung des Anhängerwinkels γ zu speichern. Auf diese Weise kann das zweite Array-Modul 136 betreibbar sein, um dem dritten neuronalen Netz 118 zwei Schätzungen für die Änderung des Anhängerwinkels γ bereitzustellen - wobei eine erste Schätzung auf den Bilddaten (d. h. der geschätzten Änderung) basiert und eine zweite Schätzung auf dem Lenkwinkel δ und der Fahrzeuggeschwindigkeit v (d. h. der Differenz) basiert. Die Differenz und die geschätzte Änderung können von dem zweiten Array-Modul 136 an das dritte neuronale Netz 118 kommuniziert werden. Das dritte neuronale Netz 118 kann trainiert werden, um die Differenz und die geschätzte Änderung zu vergleichen, um den endgültigen vorhergesagten Anhängerwinkel γ zu generieren. Auf diese Weise kann der Betriebsprozess 56b dazu dienen, den Anhängerwinkel γ auf Grundlage der Bilddaten, des Lenkwinkels δ und der Fahrzeuggeschwindigkeit v vorherzusagen.
Gemäß einigen Ausführungsformen kann die dritte Ausgabe 137 des dritten neuronalen Netzes 118 als Eingabe in das dritte neuronale Netz 118 rückgekoppelt werden. Das dritte neuronale Netz 188 kann betreibbar sein, um die dritte Ausgabe 137 zu nutzen (z. B. zu vergleichen), um einen vorhergesagten Bereich zu berechnen. Auf diese Weise kann das dritte neuronale Netz 118 eingesetzt werden, um eine nachfolgende dritte Ausgabe 137 so zu begrenzen, dass sie innerhalb des konkreten Bereichs liegt. In dem Fall, dass sich die erste Ausgabe 120 und die zweite Ausgabe 121 erheblich unterscheiden, kann das dritte neuronale Netz 118 betreibbar sein, um eine der Ausgaben 120, 121 gegenüber der anderen zu beeinflussen. Zum Beispiel kann ein Neuron 138 des dritten neuronalen Netzes 118, das der zweiten Ausgabe 121 entspricht, stärker gewichtet werden (d. h. es kann die dritte Ausgabe beeinflussen) als ein Neuron 138, das der ersten Ausgabe 120 entspricht. Zum Beispiel kann das dritte neuronale Netz 118 derart trainiert werden, dass die Vorhersage des Anhängerwinkels γ niemals 5° größer oder kleiner als eine unmittelbar vorhergehende (z. B. -1 Sekunde, -0,5 Sekunden, - 0,25 Sekunden, -0,1 Sekunden usw.) Vorhersage ist. Dies ist ein nicht einschränkendes Beispiel dafür, wie das dritte neuronale Netz 118 Vergleichsvorgänge mehrerer Dateneingaben im Laufe der Zeit beinhalten kann. Tatsächlich kann der Betriebsprozess 56b durch Einbeziehen von Rückkopplung die Vorhersage des Anhängerwinkels γ gegenüber „Spiking“ (z. B. Überschreiten von +/- 5-1 % einer vorherigen Schätzung) begrenzen. Auf diese Weise kann eine stabilere Vorhersage generiert werden.
Die geschätzte Änderung des ersten Winkels (z. B. eines vergangenen Anhängerwinkels γ) kann, wie zuvor beschrieben, in einem Bereich liegen, der eine maximale geschätzte Winkeländerung und eine minimale geschätzte Winkeländerung aufweist. In einigen Fällen kann der Bereich eingesetzt werden (z. B. Ausgabe von dem zweiten neuronalen Netz 116), da das Bestimmen eines spezifischen Werts mehr Informationen erfordern kann als nur Lenkwinkeldaten und Fahrzeuggeschwindigkeitsdaten. Da zum Beispiel die Rate, mit der sich der Anhängerwinkel γ ändert, von der Anhängerlänge D, dem anfänglichen Anhängerwinkel usw. abhängen kann, kann es herausfordernd sein, einen spezifischen Wert des Anhängerwinkels γ nur auf Grundlage von Lenkwinkeldaten und Fahrzeuggeschwindigkeitsdaten zu bestimmen. Das Einsetzen nur des Lenkwinkels δ und der Fahrzeuggeschwindigkeit v bei dem zweiten neuronalen Netz 116 kann jedoch ermöglichen, dass das zweite neuronale Netz die minimale und maximale geschätzte Winkeländerung (d. h. den Bereich) bestimmt.
Wenn zum Beispiel der anfängliche Anhängerwinkel 90° beträgt und die Fahrzeuggeschwindigkeit v -2 Kilometer pro Stunde (-1,2 Meilen pro Stunde) bei einem Lenkwinkel δ von 15° für 3 Sekunden beträgt, dann kann der endgültige Anhängerwinkel γ zum Beispiel 75° betragen (d. h. eine Änderung von -15°). Wenn jedoch der anfängliche Anhängerwinkel 45° beträgt und die Fahrzeuggeschwindigkeit v -2 Kilometer pro Stunde (-1,2 Meilen pro Stunde) bei einem Lenkwinkel δ von 15° für 3 Sekunden beträgt, dann kann der endgültige Anhängerwinkel γ zum Beispiel 20° betragen (d. h. eine Änderung von -25°). In diesem Beispiel kann die Rate, mit der sich der Anhängerwinkel ändert, ausschließlich auf mathematische, kinematische Prinzipien zurückzuführen sein (z. B. Verschiebung des Drehmittelpunkts des Fahrzeuganhängerkörpers) und/oder kann auch auf physischen Eigenschaften des spezifischen Anhängers 10, wie etwa der Anhängerlänge D, basieren. Ohne zusätzliche Informationen und/oder Annahmen, die über das zweite neuronale Netz verarbeitet werden, kann das zweite neuronale Netz keine spezifische Schätzung des Werts des Anhängerwinkels γ ausgeben.
Ein Beispiel für den Betriebsprozess 56b, der dazu dient, ungenaue Schätzungen des Anhängerwinkels γ zu verhindern, ist der Fall, in dem der erste Prozess 113a eine Schätzung des Anhängerwinkels γ basierend auf einer Umgebungsbedingung erzeugt, wie etwa dem Vorhandensein einer Parklinie nahe der Kupplungskugel 30 während einen Rückfahrprozess. Wenn das Fahrzeug 12 mit einem Lenkwinkel 8 ungleich null rückwärtsfährt, kann sich innerhalb des Sichtfelds ein Winkel, in dem sich die Parklinie relativ zu der Kupplungskugel erstreckt, mit einer anderen Rate und/oder einer anderen Richtung ändern als die Rate und/oder Richtung des Anhängerwinkels γ. Da die Parklinie bewirken kann, dass der erste Prozess 113a die Parklinie fälschlicherweise als die Kopplerbaugruppe 28 identifiziert, kann die erste Ausgabe 121 eine Schätzung des Anhängerwinkels γ beinhalten, die sich erheblich von dem tatsächlichen Anhängerwinkel γ unterscheidet. Zusätzlich kann die Schätzung des Anhängerwinkels γ zwischen dem Parklinienwinkel und dem tatsächlichen Anhängerwinkel γ hin und her schwanken, da sowohl die Parklinie als auch die Kopplerbaugruppe 28 als der Verbindungspunkt identifiziert werden können. Das Berücksichtigen der Fahrzeuggeschwindigkeit v und des Lenkwinkels δ ermöglicht, dass der Betriebsprozess 56b diesen Fehler korrigiert. Insbesondere kann der zweite Prozess 113b einen Bereich möglicher Anhängerwinkel γ und/oder eine spezifische Anhängerschätzung bereitstellen, um die erste Ausgabe 120 damit über den dritten Prozess 113c zu vergleichen. Zusätzlich können vorherige Schätzungen des Anhängerwinkels γ (wie etwa diejenigen, die dem „Sprung“ im Anhängerwinkel γ unmittelbar vorausgehen), wie durch den dritten Prozess 113c erzeugt, einen noch robusteren Vorhersagealgorithmus bereitstellen.
Gemäß einigen Aspekten der Offenbarung können das Bildverarbeitungsmodul 122 und/oder andere Messverfahren eingesetzt werden, um die Anhängerlänge D zu bestimmen. Weitere detaillierte Umsetzungen eines Systems zum Bestimmen und Nutzen der Anhängerlänge D sind in der US-Patentanmeldung Nr. 14/794,336 beschrieben, die hierin durch Bezugnahme vollumfänglich aufgenommen ist. Im Allgemeinen kann ein Zweck des Bestimmens der Länge des Anhängers 10 darin bestehen, Längendaten, die der Anhängerlänge D entsprechen, in den Betriebsprozess 56b einzubeziehen. Das zweite neuronale Netz 116 kann zum Beispiel die Längendaten einbeziehen, um den Bereich der geschätzten Änderung des Anhängerwinkels γ zu verfeinern. Da die Rate, mit der sich der Anhängerwinkel γ ändert, von der Länge des Anhängers 10 abhängen kann, können die Längendaten ermöglichen, dass das zweite neuronale Netz einen genaueren Bereich der geschätzten Änderung des Anhängerwinkels bereitstellt. Zum Beispiel kann ein relativ langer Anhänger (z. B. 30 Fuß) eine langsamere Änderungsrate des Anhängerwinkels γ relativ zu einer Änderungsrate des Anhängerwinkels γ eines kurzen Anhängers (z. B. 8 Fuß) aufweisen.
Das zweite neuronale Netz 116 und/oder ein Teil des Bewegungsverarbeitungsmoduls 130 können andere Sensordaten einbeziehen, um die geschätzte Änderung zu verfeinern, wie etwa Beschleunigungsdaten, die einer Beschleunigung des Fahrzeugs 12 entsprechen, Radschlupfdaten, die einem Ausmaß an Schlupf an den Fahrzeugrädern 40 entsprechen usw. Zusätzlich oder alternativ kann dem zweiten neuronalen Netz 116 eine Schätzung des anfänglichen Anhängerwinkels bereitgestellt werden, sodass das zweite neuronale Netz 116 betreibbar ist, um einen geschätzten Anhängerwinkel γ im Gegensatz zu einer Änderung des Anhängerwinkels γ zu bestimmen. Durch Einschließen einer Startbedingung (z. B. eines anfänglichen Anhängerwinkels) als eine Eingabe in das zweite neuronale Netz oder einen Teil des Bewegungsverarbeitungsmoduls 130 können die Lenkwinkeldaten, Fahrzeuggeschwindigkeitsdaten und der anfängliche Anhängerwinkel verarbeitet werden, um eine Schätzung des zweiten Winkels (z. B. des „aktuellen“ Anhängerwinkels γ) zu erzeugen. In einigen Ausführungsformen kann der spezifische Wert (z. B. Anhängerwinkelschätzung) durch Einbeziehen der vorherigen Schätzung des Anhängerwinkels γ über eine Rückkopplung der dritten Ausgabe 137 bestimmt werden. In dieser Konfiguration kann das dritte neuronale Netz 118 betreibbar sein, um den zweiten Winkel, wie durch das erste neuronale Netz 114 bestimmt (d. h. die erste Ausgabe 120), und den zweiten Winkel, wie durch das zweite neuronale Netz 118 bestimmt (d. h. die zweite Ausgabe 121), im Gegensatz zu Schätzungen einer Änderung des Anhängerwinkels γ zu verarbeiten. Die resultierende Vorhersage (z. B. die dritte Ausgabe 137 des dritten neuronalen Netzes 118) kann daher durch Verarbeiten der Bilddaten, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten auf verschiedene Arten bestimmt werden.
Wie zuvor erörtert, kann das erste neuronale Netz 114 dazu konfiguriert sein, die Bilddaten von dem Vorverarbeitungsmodul 124 und/oder dem Augmentationsmodul 126 zu empfangen. Nach Abschluss der Analyse jedes Einzelbildes der Bilddaten kann das Modul 134 für eine endgültige Schätzung den Anhängerwinkel γ ausgeben, der ein Bild der Kupplungskugel 30 überlagert, wie in 10A und 10B gezeigt. Die hierin beschriebenen Systeme und Verfahren können das Trainieren und die physische Umsetzung des Systems 8 bereitstellen, wodurch das mindestens eine neuronale Netz 114, 116, 118 wirksam trainiert wird, sodass der Anhängerwinkel γ bei vielen unterschiedlichen Umgebungsbedingungen, Lichtverhältnissen und für viele unterschiedliche Topografien und Ausrichtungen genau identifiziert werden kann.
Unter Bezugnahme auf 8 ist ein Ablaufdiagramm gezeigt, das einen Betriebsprozess für mindestens ein neuronales Netz veranschaulicht. Da der Betriebsprozess 56 kontinuierliche Datenströme aufweisen kann, kann der veranschaulichte Prozess 56 kontinuierlich auf Grundlage neuer Eingaben erfolgen, die bei späteren Instanzen empfangen werden. Daher können Ausdrücke wie „vorher“ und „nachher“ in Bezug auf 8 im Allgemeinen in Bezug auf Schätzungen verwendet werden, die in konkreten Instanzen generiert werden. Der Prozess 56b kann mit Aufnehmen von Bilddaten mit der Bildgebungsvorrichtung 14 beginnen, die ein Sichtfeld 48 einschließlich der Kopplerbaugruppe 28 darstellen (S10). Sobald die Bilddaten aufgenommen sind, kann der Prozess 56b oder das Verfahren mit Vorverarbeiten der Bilddaten über das Vorverarbeitungsmodul 124 fortfahren (S12). Das Vorverarbeitungsmodul 124 kann dazu konfiguriert sein, jedes durch die Bildgebungsvorrichtung 14 aufgenommene Bild zuzuschneiden. Das Zuschneiden der Bilddaten kann auf Grundlage der Positionsbeziehung der Kupplungskugel 30 in dem Sichtfeld 48 konsistent verarbeitet werden. Nach der Identifizierung kann die Steuerung 50 dazu konfiguriert sein, die Bilddaten von der Bildgebungsvorrichtung 14 auf Grundlage vorbestimmter Maße oder einem Teil der Bilddaten, die in Bezug auf die Stelle der Kupplungskugel 30 in dem Sichtfeld 48 bezeichnet sind, zuzuschneiden. Auf diese Weise können die dem ersten neuronalen Netz 114 zugeführten Bilddaten in ihrer Positionsvariation begrenzt werden, um die zum Trainieren des ersten neuronalen Netzes 114 bereitgestellten Abtastdaten zu verbessern.
Als nächstes kann das Bildaugmentationsmodul 126 in Schritt S14 die Bilddaten durch eine Vielzahl von Techniken augmentieren. Zum Beispiel können die zugeschnittenen Bilddaten, die von dem Bildverarbeitungsmodul 124 empfangen wurden, durch verschiedene Techniken augmentiert werden, einschließlich unter anderem Spiegeln, Drehen, Verschieben, Skalieren, Farbverbesserung, Histogrammdehnen, Rauschfiltern, selektives Einschließen von Rauschen usw. Nach der Verarbeitung der Bilddaten über das Bildvorverarbeitungsmodul 124 und/oder das Bildaugmentationsmodul 126 kann die Steuerung 50 eine erste Schätzung des Anhängerwinkels γ bestimmen (S16). Der Augmentationsschritt S14 kann in einigen Konfigurationen weggelassen sein, sodass der Prozess nach dem Vorverarbeitungsschritt S 12 oder dem Aufnahmeschritt S 10 direkt zu Schritt S 18 übergehen kann.
Gleichzeitig mit den Schritten S10-S14 kann das Bewegungsverarbeitungsmodul 130 eine zweite Schätzung des Anhängerwinkels γ bestimmen (S16). Die Schritte S18-S22 können in dem Modul 134 für eine endgültige Schätzung durchgeführt werden und können gleichzeitig stattfinden. Bei Schritt S18 kann der Anhängerwinkel γ auf Grundlage der Ausgaben der Schritte S14 und S 16 geschätzt werden. Optional kann der geschätzte Anhängerwinkel γ dann bei Schritt S20 mit einem gleitenden Durchschnitt von geschätzten Anhängerwinkeln γ verglichen werden. Der gleitende Durchschnitt kann auf Grundlage eines Filters für gleitendem Durchschnitt bestimmt werden, der die zweite Ausgabe 121 sowie die Ausgabe von Schritt S18 einbezieht, um den gleitenden Durchschnitt zu bestimmen. Zusätzlich oder alternativ kann bei Schritt S20 ein Kalman-Filter angewendet werden. Durch Vergleichen der Schätzung mit dem gleitenden Durchschnitt oder einem anderen Tendenzdarstellungswert kann der Prozess 56 Vorhersagespitzen verhindern. Nach dem optionalen Schritt S20 kann die endgültige Anhängerwinkelschätzung auf Grundlage einer Ausgabe des Filters bei Schritt S22 generiert werden.
Es wird im Allgemeinen in Betracht gezogen, dass in einigen Umsetzungen die dritte Ausgabe 137 an den Betriebsprozess 56b zurückgegeben werden kann, um sicherzustellen, dass die endgültige Schätzung des Anhängerwinkels γ keine signifikanten Spitzen aufweist, die für den tatsächlichen Anhängerwinkel γ nicht repräsentativ sind. Durch Vergleichen aktueller/vorheriger endgültiger Schätzungen des Anhängerwinkels γ mit Zwischenwerten, die durch das System 8 generiert werden, kann ein genaueres Vorhersageverfahren 56b des Anhängerwinkels γ erreicht werden.
Unter Bezugnahme auf 9 ist ein Beispiel für die Bilddaten gezeigt, die von der Bildgebungsvorrichtung 14 durch die Steuerung 50 empfangen werden. 10A und 10B zeigen die zugeschnittenen Bilddaten 142a und 142b. Die zugeschnittenen Bilddaten 142 stellen die dem ersten neuronalen Netz 114 bereitgestellte Eingabe dar, die auf Grundlage der Beschneidungsausmaße zugeschnitten wurde, die als der in 9 gezeigte Begrenzungsumriss 144 dargestellt sind. Wie zuvor erörtert, können die zugeschnittenen Bilddaten 142 durch das Vorverarbeitungsmodul 124 und/oder das Augmentationsmodul 126 auf Grundlage einer festen oder identifizierten Beziehung der Kupplungskugel 30 innerhalb des Sichtfelds 48 generiert werden. Auf diese Weise können die dem ersten neuronalen Netz 114 zugeführten Bilddaten hinsichtlich der Positionsvariation und Qualität, die in den von der Bildgebungsvorrichtung 14 empfangenen Rohdaten ersichtlich sind, begrenzt sein.
Unter Bezugnahme auf 10A und 10B sind die zugeschnittenen Bilddaten 142, die dem ersten neuronalen Netz 114 zugeführt werden, gezeigt. Wie in jeder der 10A und 10B veranschaulicht, ist ein endgültiger Schätzvektor 144, der der Ausgabe des Moduls 134 für eine endgültige Schätzung (z. B. der dritten Ausgabe 137) entspricht, als eine durchgezogene Linie mit einer Pfeilspitze gezeigt, die eine Rückwärtsrichtung des Anhängers 10 identifiziert. Ein Bereich 146, der die geschätzte Änderung des Anhängerwinkels γ darstellt, wie durch das Bewegungsverarbeitungsmodul 130 generiert, ist durch einen Bogen veranschaulicht, der die zugeschnittenen Bilddaten 142 überlagert. Zusätzlich ist ein erster Stufenvektor 148, der einer Ausgabe des Bildverarbeitungsmoduls 122 (z. B. der ersten Ausgabe 120) entspricht, als eine gestrichelte Linie mit einer Pfeilspitze gezeigt, die eine Rückwärtsrichtung des Anhängers 10 identifiziert. Der Übersichtlichkeit halber sind die Vektoren und Bereiche in den 10A und 10B in den 11A und 11B in demselben zugeschnittenen Feld dupliziert, wobei jedoch das Bild der physischen Komponenten entfernt ist, wobei 11A der 10A entspricht und 11B der 10B entspricht. Zum Zwecke der Veranschaulichung verschiedener Aspekte des Betriebs der Steuerung 50 veranschaulichen die 10A und 10B jeweils ein Bild einer Straßenlinie 150, wie etwa einer Parklinie oder einer Fahrspurlinie, in dem zugeschnittenen Bild. Die Straßenlinien 150 können durch das Bildverarbeitungsmodul 122 für die Anhängerkupplung gehalten werden und bewirken daher, dass der erste Stufenvektor 148 die Straßenlinie 150 überlagert. Dieser Fehler kann auf die Anwendung einer Kantendetektion auf dem Bild zurückzuführen sein, wenn eine Straßenlinie 150 einen Bereich des Bildes benachbart zu der Kupplungskugel 30 und/oder der Kopplerbaugruppe 28 kreuzt. Wie in den 10A und 10B veranschaulicht, wird ein derartiger Fehler mit einer Parklinie dargestellt, die zumindest teilweise in einer Linie mit der Position der Kupplungskugel 30 angeordnet ist.
Unter besonderer Bezugnahme auf 10A ist eine Videoeinspeisung der Kopplerbaugruppe 28 als ein einzelnes Bild veranschaulicht. In diesem Beispiel steht das Fahrzeug 12 still (d. h. die Fahrzeuggeschwindigkeit v ist 0). Jedoch schätzt das Bildverarbeitungsmodul 122 aufgrund des Vorhandenseins der Straßenlinie 150 in der Nähe der Kopplerbaugruppe 28, die sich entlang eines möglichen Winkels der Kopplerbaugruppe 28 erstreckt, den Anhängerwinkel γ auf ungefähr 90 Grad zu einem ersten Zeitpunkt und 130 Grad zu einem zweiten Zeitpunkt. Da das Fahrzeug 12 still steht (und der Anhänger 10 still steht), beträgt die geschätzte Änderung des Anhängerwinkels γ 0 und die Steuerung 50 bestimmt über das Modul 134 für eine endgültige Schätzung, dass der Anhängerwinkel γ ungefähr 130 Grad beträgt, basierend auf dem geschätzte Änderung (wie durch das Bewegungsverarbeitungsmodul 130 bestimmt) und dem geschätzten Anhängerwinkel γ (wie durch das Bildverarbeitungsmodul 122 bestimmt). Diese Bestimmung kann durch die Steuerung 50 durchgeführt werden, die viele unterschiedliche Vorgänge durchführt, die die Fahrzeuggeschwindigkeit v und/oder den Lenkwinkel δ einbeziehen.
Zum Beispiel kann die Steuerung 50 betreibbar sein, um Ausreißerdaten aus der ersten Stufe der Vorhersage (z. B. der ersten Ausgabe 120) zu filtern, indem ein Moduswert oder ein Medianwert der ersten Ausgabe 120 bestimmt wird und Werte außerhalb des Modus- oder Medianwerts verworfen/aufgehoben werden. Zusätzlich oder alternativ kann die Steuerung 50 die erste Ausgabe 120 mit einer vorherigen ersten Ausgabe 120 oder einem vorherigen Muster von ersten Ausgaben 120 (z. B. einer kontinuierlichen Änderung des Anhängerwinkels γ vor dem Anhalten des Fahrzeugs 12) vergleichen. Das vorherige Muster oder die vorherige erste Ausgabe 120 kann ermöglichen, dass die Steuerung 50 die korrekte Schätzung des Anhängerwinkels γ (130 Grad) wählt. Wenn zum Beispiel der Anhänger 10 unmittelbar vor dem Anhalten des Fahrzeugs 12 mit dem Rückwärtsfahren bei einem anfänglichen Anhängerwinkel γ von 90 Grad begonnen hat und bei einem endgültigen Winkel von 130 Grad geendet hat, kann die Steuerung 50 diese Informationen nutzen, um die Anhängerwinkelvorhersage von 90 Grad herauszufiltern. In diesem Beispiel kann die Steuerung 50 durch Verarbeiten nur der Fahrzeuggeschwindigkeitsdaten und der Bilddaten betreibbar sein, um den endgültigen geschätzten Anhängerwinkel γ mit verbesserter Genauigkeit im Vergleich zu einer Schätzung des Anhängerwinkels γ nur auf Grundlage der Bilddaten zu bestimmen.
Unter besonderer Bezugnahme auf 10B ist ein zweites Bild der Anhängerkupplung, das in einer zweiten Instanz relativ zu einem ersten Bild der Anhängerkupplung aufgenommen wurde, das in einer ersten Instanz vor der zweiten Instanz aufgenommen wurde, veranschaulicht. Wie in diesem Beispiel veranschaulicht, ändert sich der tatsächliche Anhängerwinkel γ von 10A zu 10B von ungefähr 110 Grad auf ungefähr 70 Grad (d. h. eine Änderung des Anhängerwinkels γ von -40 Grad). Dementsprechend kann das Modul 134 für eine endgültige Schätzung betreibbar sein, um die Differenz des ersten Winkels und des zweiten Winkels (wie durch das Bildverarbeitungsmodul 122 bestimmt) und die geschätzte Änderung des Anhängerwinkels γ (wie durch das Bewegungsverarbeitungsmodul 130 bestimmt) zu verarbeiten. Die Differenz kann als ein Bogen 146 zwischen dem ersten Winkel und dem zweiten Winkel veranschaulicht werden und kann ungefähr -20 Grad betragen. Die geschätzte Änderung des Anhängerwinkels γ kann auf Grundlage des Lenkwinkels δ und der Fahrzeuggeschwindigkeit v als innerhalb eines Bereichs von mindestens -10 Grad bis höchstens -80 Grad liegend bestimmt werden. Dies kann ein „blinder“ Bereich sein, sodass die einzigen Daten, die an das Bewegungsverarbeitungsmodul 130 weitergegeben werden, Lenkwinkeldaten und Fahrzeuggeschwindigkeitsdaten sind.
Wie zuvor erörtert, kann die Einbeziehung anderer Daten, wie etwa der Anhängerlänge D und/oder des anfänglichen Anhängerwinkels γ (z. B. des ersten Winkels oder des vorherigen Anhängerwinkels), ermöglichen, dass das Bewegungsverarbeitungsmodul 130 einen engeren Bereich bereitstellt. Zum Beispiel kann die Steuerung 50 durch Einbeziehen eines anfänglichen Anhängerwinkels γ (d. h. Einbeziehen des ersten Winkels entweder in das Bewegungsverarbeitungsmodul 130 oder das Modul 134 für eine endgültige Schätzung) eine geschätzte Änderung des Anhängerwinkels γ berechnen, sodass sie in dem Bereich zwischen - 25 Grad und -55 Grad liegt. Dieser Bereich kann enger sein als der „blinde“ Bereich, da, wie zuvor beschrieben, die Rate, mit der sich der Anhängerwinkel γ ändert, vom Anhängerwinkel γ selbst abhängt. Die Einbeziehung von Anhängerlängendaten, die der Anhängerlänge D entsprechen, kann auch ermöglichen, dass die Steuerung 50 einen engeren Bereich als den „blinden“ Bereich bereitstellt, da, wie zuvor beschrieben, eine lange Anhängerlänge D zu einer geringeren Änderungsrate des Anhängerwinkels γ führen kann und eine kurze Anhängerlänge D zu einer hohen Änderungsrate des Anhängerwinkels γ führen kann. Die Steuerung 50 kann sowohl die Anhängerlänge D als auch ein Anfangsbild einbeziehen, um eine genauere geschätzte Änderung des Anhängerwinkels γ zur Verarbeitung durch das Modul 134 für eine endgültige Schätzung bereitzustellen. In dem vorstehenden Beispiel kann die geschätzte Änderung daher so berechnet werden, dass sie in dem Bereich zwischen -35 und -45 Grad oder -39 und -41 Grad liegt.
Es wird im Allgemeinen in Betracht gezogen, dass, wenn ein Fehler oder eine Differenz zwischen dem endgültigen geschätzten Anhängerwinkel γ und dem tatsächlichen Anhängerwinkel vorliegt, die Differenz durch die Steuerung 50 identifiziert werden kann. Dementsprechend kann das System 8 auf Grundlage des Fehlers einen oder mehrere Faktoren identifizieren, die sich auf die Bilddaten 142, die Fahrzeuggeschwindigkeitsdaten, die Lenkwinkeldaten und/oder den Anhängerwinkel γ beziehen, die den Fehler verursacht haben können. Zum Beispiel kann die Steuerung 50 dazu konfiguriert sein, Bilddaten auf Grundlage des Fehlers zu gruppieren, um Anhängerwinkel γ oder Umgebungsbedingungen zu identifizieren, die zu dem Fehler führen. Auf diese Weise kann das System dazu konfiguriert sein, Bereiche von Anhängerwinkeln und Kategorien von Licht-/Umgebungsbedingungen zu detektieren, die zu einer ungenauen Identifizierung des Anhängerwinkels führen. Auf Grundlage des in den Kategorien und/oder Bereichen identifizierten Fehlers kann das System 8 Bilddaten identifizieren, die aufgenommen werden müssen, um das Training der neuronalen Netze 114, 116, 118 zu verbessern. Dementsprechend kann das System 8 dazu konfiguriert sein, zusätzliche Bildabtastungen und Testbilder zu nutzen, um die Genauigkeit der Detektion des Anhängerwinkels γ zu verbessern, um Deep Learning anzuwenden, um den Trainingsprozess 56a der neuronalen Netze 114, 116, 188 abzuschließen.
Es versteht sich, dass Variationen und Modifikationen an den vorstehend erwähnten Strukturen und Verfahren vorgenommen werden können, ohne von den Konzepten der vorliegenden Offenbarung abzuweichen, und es versteht sich ferner, dass derartige Konzepte von den folgenden Patentansprüchen abgedeckt sein sollen, sofern diese Patentansprüche durch ihren Wortlaut nicht ausdrücklich etwas anderes festlegen.
Der Durchschnittsfachmann versteht, dass die Konstruktion der beschriebenen Vorrichtung und anderer Komponenten nicht auf ein beliebiges konkretes Material beschränkt ist. Andere beispielhafte Ausführungsformen der in dieser Schrift offenbarten Vorrichtung können aus einer breiten Vielfalt an Materialien ausgebildet werden, es sei denn, hierin wird etwas anderes beschrieben.
Für die Zwecke dieser Offenbarung bedeutet der Begriff „gekoppelt“ (in allen seinen Formen, koppeln, Kopplung, gekoppelt, usw.) allgemein, dass zwei (elektrische oder mechanische) Komponenten direkt oder indirekt miteinander verbunden werden. Ein derartiges Verbinden kann dem Wesen nach stationär oder beweglich sein. Ein derartiges Verbinden kann erreicht werden, indem die beiden (elektrischen oder mechanischen) Komponenten und beliebige zusätzliche dazwischenliegende Elemente einstückig als ein einzelner einheitlicher Körper miteinander oder mit den beiden Komponenten gebildet werden. Ein derartiges Verbinden kann, sofern nicht anderes vorgegeben ist, dem Wesen nach permanent sein oder dem Wesen nach entfernbar oder lösbar sein.
Es ist zudem wichtig, festzuhalten, dass die Konstruktion und Anordnung der Elemente der Vorrichtung, wie in den beispielhaften Ausführungsformen gezeigt, lediglich veranschaulichend sind. Obwohl nur wenige Ausführungsformen der vorliegenden Innovationen in dieser Offenbarung ausführlich beschrieben wurden, wird ein Fachmann, der diese Offenbarung untersucht, ohne weiteres schätzen, dass viele Änderungen möglich sind (z. B. Variationen in Größen, Abmessungen, Strukturen, Formen und Proportionen der einzelnen Elemente, Werte von Parametern, Bauformen, Verwendung von Materialien, Farben, Ausrichtungen usw.), ohne im Wesentlichen von den neuartigen Lehren und Vorteilen des beschriebenen Gegenstandes abzuweichen. Beispielsweise können Elemente, die als einstückig ausgebildet dargestellt sind, aus mehreren Teilen oder Elementen konstruiert sein, die als mehrere Teile dargestellt sind, einstückig ausgebildet sein, der Betrieb der Schnittstellen kann umgekehrt oder sonst unterschiedlich sein, die Länge oder Breite der Strukturen und/oder Elemente oder Verbinder oder anderer Elemente des Systems kann variiert werden, die Art oder Anzahl der Einstellpositionen, die zwischen den Elementen bereitgestellt sind, kann variiert werden. Es ist anzumerken, dass die Elemente und/oder Baugruppen des Systems aus einer breiten Vielfalt von Materialien konstruiert sein können, die ausreichende Festigkeit oder Haltbarkeit bereitstellen, in einer breiten Vielfalt von Farben, Texturen und Kombinationen. Dementsprechend ist beabsichtigt, dass alle derartigen Modifikationen im Umfang der vorliegenden Innovationen eingeschlossen sind. Andere Substitutionen, Modifikationen, Veränderungen und Auslassungen können an der Gestaltung, an Betriebsbedingungen und an der Anordnung der gewünschten und anderen beispielhaften Ausführungsformen vorgenommen werden, ohne vom Geist der vorliegenden Innovationen abzuweichen.
Es versteht sich, dass beliebige beschriebene Prozesse oder Schritte innerhalb der beschriebenen Prozesse mit anderen offenbarten Prozessen oder Schritten zum Bilden von Strukturen innerhalb des Umfangs der vorliegenden Vorrichtung kombiniert werden können. Die hierin offenbarten beispielhaften Strukturen und Verfahren dienen veranschaulichenden Zwecken, und sind nicht als Einschränkung zu verstehen.
Es versteht sich zudem, dass Variationen und Modifikationen an den vorstehend erwähnten Strukturen und Verfahren vorgenommen werden können, ohne von den Konzepten der vorliegenden Vorrichtung abzuweichen, und es versteht sich ferner, dass derartige Konzepte von den folgenden Ansprüchen abgedeckt werden sollen, sofern diese Ansprüche durch ihren Wortlaut nicht ausdrücklich etwas anderes festlegen.
Die vorstehende Beschreibung gilt ausschließlich als die der veranschaulichten Ausführungsformen. Modifikationen der Vorrichtung werden sich dem Fachmann und demjenigen, der die Vorrichtung herstellt oder verwendet, erschließen. Daher versteht es sich, dass die in den Zeichnungen gezeigten und vorstehend beschriebenen Ausführungsformen lediglich der Veranschaulichung dienen und nicht zur Einschränkung des Umfangs der Vorrichtung gedacht sind, der durch die nachfolgenden Ansprüche definiert ist, die gemäß den Grundsätzen des Patentrechts, einschließlich der Äquivalenzlehre, auszulegen sind.
Gemäß der vorliegenden Erfindung wird ein System zur Identifizierung eines Anhängers bereitgestellt, das Folgendes aufweist: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, ein Bild eines Anhängers aufzunehmen; eine Steuerung, die zu Folgendem konfiguriert ist: Empfangen von Lenkwinkeldaten, die einem Lenkwinkel eines Fahrzeugs entsprechen; Empfangen von Fahrzeuggeschwindigkeitsdaten, die einer Fahrzeuggeschwindigkeit entsprechen; und Schätzen eines Winkels des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des mindestens einen Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz.
Gemäß einer Ausführungsform umfasst das mindestens eine neuronale Netz Folgendes: ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten.
Gemäß einer Ausführungsform ist eine Ausgabe des zweiten neuronalen Netzes ein geschätzter Bereich einer Änderung des Winkels.
Gemäß einer Ausführungsform umfasst das mindestens eine neuronale Netz Folgendes: ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten.
Gemäß einer Ausführungsform ist das dritte neuronale Netz ein vollständig verbundenes neuronales Netz.
Gemäß einer Ausführungsform ist die Steuerung ferner zu Folgendem konfiguriert: Trainieren des dritten neuronalen Netzes, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen.
Gemäß einer Ausführungsform ist das dritte neuronale Netz ferner dazu trainiert, den Winkel durch Vergleichen des Winkels mit der ersten Ausgabe und der zweiten Ausgabe zu begrenzen.
Gemäß einer Ausführungsform ist die Steuerung ferner zu Folgendem konfiguriert: Vergleichen des Winkels mit einer vorherigen Schätzung des Winkels, der durch das mindestens eine Netz geschätzt wurde.
Gemäß einer Ausführungsform ist die Steuerung ferner zu Folgendem konfiguriert: Begrenzen des Winkels auf Grundlage des Vergleichs des Winkels mit der vorherigen Schätzung des Winkels.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Identifizieren eines Anhängerwinkels Folgendes: Aufnehmen eines Bildes eines Anhängers in einem Sichtfeld; Empfangen von Lenkwinkeldaten, die einem Lenkwinkel eines Fahrzeugs entsprechen; Empfangen von Fahrzeuggeschwindigkeitsdaten, die einer Fahrzeuggeschwindigkeit entsprechen; und Schätzen eines Winkels des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz.
In einem Aspekt der Erfindung umfasst das mindestens eine neuronale Netz Folgendes: ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten.
In einem Aspekt der Erfindung ist eine Ausgabe des zweiten neuronalen Netzes ein geschätzter Bereich einer Änderung des Winkels.
In einem Aspekt der Erfindung umfasst das mindestens eine neuronale Netz Folgendes: ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten.
In einem Aspekt der Erfindung ist das dritte neuronale Netz ein vollständig verbundenes neuronales Netz.
In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Trainieren des dritten neuronalen Netzes über eine Steuerung, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen.
In einem Aspekt der Erfindung ist das dritte neuronale Netz ferner dazu trainiert, den Winkel durch Vergleichen des Winkels mit der ersten Ausgabe und der zweiten Ausgabe zu begrenzen.
In einem Aspekt der Erfindung umfasst das Verfahren ferner Folgendes: Vergleichen des Winkels mit einer vorherigen Schätzung des Winkels, der durch das mindestens eine Netz geschätzt wurde.
In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Begrenzen des Winkels auf Grundlage des Vergleichs des Winkels mit der vorherigen Schätzung des Winkels.
Gemäß der vorliegenden Erfindung wird ein System zur Identifizierung eines Anhängerwinkels bereitgestellt, das Folgendes aufweist: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, ein Bild aufzunehmen; einen Winkelsensor, der dazu konfiguriert ist, einen Lenkwinkel eines Fahrzeugs zu messen; einen Geschwindigkeitssensor, der dazu konfiguriert ist, eine Fahrzeuggeschwindigkeit zu messen; und eine Steuerung, die zu Folgendem konfiguriert ist: Verarbeiten des Bildes in einem ersten neuronalen Netz, das dazu trainiert ist, einen ersten Winkel des Anhängers relativ zu dem Fahrzeug zu schätzen; Verarbeiten des Lenkwinkels und der Fahrzeuggeschwindigkeit in einem zweiten neuronalen Netz, das dazu trainiert ist, eine geschätzte Änderung des Anhängerwinkels zu bestimmen; Schätzen des Anhängerwinkels auf Grundlage des ersten Winkels und der geschätzten Änderung; und Aktualisieren des Anhängerwinkels durch Vergleichen der geschätzten Änderung mit einer Differenz des Anhängerwinkels und einer vorherigen Schätzung des Anhängerwinkels.
Gemäß einer Ausführungsform beinhaltet die geschätzte Änderung des Anhängerwinkels einen Bereich mit einer minimalen Winkeländerung und einer maximalen Winkeländerung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14794336 [0052]

Claims

System zur Identifizierung eines Anhängerwinkels, das Folgendes umfasst: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, ein Bild eines Anhängers aufzunehmen; eine Steuerung, die zu Folgendem konfiguriert ist: Empfangen von Lenkwinkeldaten, die einem Lenkwinkel eines Fahrzeugs entsprechen; Empfangen von Fahrzeuggeschwindigkeitsdaten, die einer Fahrzeuggeschwindigkeit entsprechen; und Schätzen eines Winkels des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz.
System zur Identifizierung eines Anhängerwinkels nach Anspruch 1, wobei das mindestens eine neuronale Netz Folgendes umfasst: ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten.
System zur Identifizierung eines Anhängerwinkels nach Anspruch 2, wobei eine Ausgabe des zweiten neuronalen Netzes ein geschätzter Bereich einer Änderung des Winkels ist.
System zur Identifizierung eines Anhängerwinkels nach Anspruch 2, wobei das mindestens eine neuronale Netz Folgendes umfasst: ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten.
System zur Identifizierung eines Anhängerwinkels nach Anspruch 4, wobei das dritte neuronale Netz ein vollständig verbundenes neuronales Netz ist.
System zur Identifizierung eines Anhängerwinkels nach einem der Ansprüche 4 oder 5, wobei die Steuerung ferner zu Folgendem konfiguriert ist: Trainieren des dritten neuronalen Netzes, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen.
System zur Identifizierung eines Anhängerwinkels nach einem der Ansprüche 4 oder 5, wobei das dritte neuronale Netz ferner dazu trainiert ist, den Winkel durch Vergleichen des Winkels mit der ersten Ausgabe und der zweiten Ausgabe zu begrenzen.
System zur Identifizierung eines Anhängerwinkels nach einem der Ansprüche 1-5, wobei die Steuerung ferner zu Folgendem konfiguriert ist: Vergleichen des Winkels mit einer vorherigen Schätzung des Winkels, der durch das mindestens eine Netz geschätzt wurde.
System zur Identifizierung eines Anhängerwinkels nach Anspruch 8, wobei die Steuerung ferner zu Folgendem konfiguriert ist: Begrenzen des Winkels auf Grundlage des Vergleichs des Winkels mit der vorherigen Schätzung des Winkels.
Verfahren zum Identifizieren eines Anhängerwinkels, das Folgendes umfasst: Aufnehmen eines Bildes eines Anhängers in einem Sichtfeld; Empfangen von Lenkwinkeldaten, die einem Lenkwinkel eines Fahrzeugs entsprechen; Empfangen von Fahrzeuggeschwindigkeitsdaten, die einer Fahrzeuggeschwindigkeit entsprechen; und Schätzen eines Winkels des Anhängers relativ zu dem Fahrzeug durch Verarbeiten des Bildes, der Lenkwinkeldaten und der Fahrzeuggeschwindigkeitsdaten in mindestens einem neuronalen Netz.
Verfahren zur Identifizierung eines Anhängerwinkels nach Anspruch 10, wobei das mindestens eine neuronale Netz Folgendes umfasst: ein erstes neuronales Netz und ein zweites neuronales Netz, wobei das erste neuronale Netz betreibbar ist, um das Bild zu verarbeiten, und das zweite neuronale Netz betreibbar ist, um die Lenkwinkeldaten und die Fahrzeuggeschwindigkeitsdaten zu verarbeiten.
Verfahren zur Identifizierung eines Anhängerwinkels nach Anspruch 11, wobei eine Ausgabe des zweiten neuronalen Netzes ein geschätzter Bereich einer Änderung des Winkels ist.
Verfahren zur Identifizierung eines Anhängerwinkels nach Anspruch 11, wobei das mindestens eine neuronale Netz Folgendes umfasst: ein drittes neuronales Netz, das betreibbar ist, um eine erste Ausgabe des ersten neuronalen Netzes und eine zweite Ausgabe des zweiten neuronalen Netzes zu verarbeiten.
Verfahren zur Identifizierung eines Anhängerwinkels nach Anspruch 13, wobei das dritte neuronale Netz ein vollständig verbundenes neuronales Netz ist.
Verfahren zum Identifizieren eines Anhängerwinkels nach einem der Ansprüche 13 oder 14, ferner umfassend: Trainieren des dritten neuronalen Netzes über eine Steuerung, um den Winkel auf Grundlage einer Differenz zwischen der ersten Ausgabe und der zweiten Ausgabe zu schätzen.