DE102021128907A1 - System und verfahren zum trainieren von anhängerdetektionssystemen - Google Patents

System und verfahren zum trainieren von anhängerdetektionssystemen Download PDF

Info

Publication number
DE102021128907A1
DE102021128907A1 DE102021128907.6A DE102021128907A DE102021128907A1 DE 102021128907 A1 DE102021128907 A1 DE 102021128907A1 DE 102021128907 A DE102021128907 A DE 102021128907A DE 102021128907 A1 DE102021128907 A1 DE 102021128907A1
Authority
DE
Germany
Prior art keywords
trailer
image data
vehicle
detection
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021128907.6A
Other languages
English (en)
Inventor
Mohamed El-Sawah
Robert Bell
Scott Howard Gaboury
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of DE102021128907A1 publication Critical patent/DE102021128907A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein Verfahren zum Modifizieren einer Anhängerdetektionsroutine für ein Fahrzeuganhängerdetektionssystem beinhaltet Identifizieren eines Anhängers in Bilddaten über ein Anhängerdetektionsmodell und Aktivieren einer Detektionstrainingsroutine für den Anhänger. Das Verfahren beinhaltet ferner Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren.

Description

  • GEBIET DER OFFENBARUNG
  • Die vorliegende Offenbarung betrifft im Allgemeinen ein System zum Unterstützen eines Fahrzeug-Anhängerkupplungsvorgangs. Insbesondere betrifft die vorliegende Offenbarung ein System zum Identifizieren eines Anhängers und Identifizieren von Merkmalen eines Anhängers zur Ausrichtungsassistenz zwischen einem Fahrzeug und dem Anhänger.
  • ALLGEMEINER STAND DER TECHNIK
  • Einen Anhänger an ein Fahrzeug zu kuppeln kann schwierig und zeitaufwendig sein. Insbesondere kann Ausrichten einer Kupplungskugel eines Fahrzeugs an der gewünschten Anhängerkupplung abhängig vom Ausgangsstandort des Anhängers relativ zu dem Fahrzeug ein wiederholtes Vor- und Zurückfahren in Koordination mit mehreren Lenkmanövern erforderlich machen, um das Fahrzeug angemessen zu positionieren. Ferner ist die Anhängerkupplung während eines erheblichen Teils des zur angemessenen Kupplungskugelausrichtung erforderlichen Fahrens nicht sichtbar und kann die Kupplungskugel unter normalen Umständen für den Fahrer nie wirklich zu sehen sein. Dieser Mangel an Sichtlinien macht eine Ableitung der Positionierung der Kupplungskugel und der Kupplung auf Grundlage von Erfahrungen mit einem bestimmten Fahrzeug und Anhänger erforderlich und kann dennoch mehrmaliges Anhalten und Aussteigen aus dem Fahrzeug erfordern, um die Ausrichtung zu bestätigen oder eine angemessene Korrektur für eine nachfolgende Reihe an Manövern festzustellen. Des Weiteren bedeutet die Nähe der Kupplungskugel zu dem hinteren Stoßfänger des Fahrzeugs, dass jede Überschreitung bewirken kann, dass das Fahrzeug mit dem Anhänger in Kontakt kommt. Dementsprechend können weitere Verbesserungen gewünscht sein.
  • KURZDARSTELLUNG DER ERFINDUNG
  • In einem Aspekt wird ein Anhängeridentifizierungssystem für ein Fahrzeug offenbart. Das System beinhaltet eine Bildgebungsvorrichtung, die dazu konfiguriert ist, Bilddaten, die einen Anhänger abbilden, aufzunehmen, und eine Benutzerschnittstelle, die dazu konfiguriert ist, mit einem Benutzer zu kommunizieren. Eine Steuerung verarbeitet die Bilddaten und wendet ein Anhängerdetektionsmodell an, das dazu konfiguriert ist, einen in den Bilddaten abgebildeten Anhänger zu detektieren. Die Steuerung aktiviert eine Detektionstrainingsroutine für den Anhänger und nimmt die Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers auf. Die Steuerung steuert ferner eine Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren. Die Aktualisierungsprozedur verarbeitet die Bilddaten aus der Vielzahl von Perspektiven.
  • In verschiedenen Aspekten beinhaltet das System eines oder mehrere der folgenden Merkmale, Konfigurationen oder Schritte:
    • - die Steuerung empfängt ferner eine Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert, und identifiziert den Anhängerkurs auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten;
    • - die Steuerung wendet ferner als Reaktion auf die Eingabe eine Kennung an, die das Merkmal identifiziert, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert;
    • - die Aktualisierungsprozedur umfasst Kommunizieren der Bilddaten an einen entfernten Server, wobei der entfernte Server die Bilddaten verarbeitet und das Anhängeridentifizierungsmodell über ein neuronales Netzwerk modifiziert;
    • - die Steuerung empfängt ferner ein modifiziertes Anhängeridentifizierungsmodell von dem entfernten Server; nimmt zusätzliche Bilddaten des Anhängers mit dem modifizierten Anhängerdetektionsmodell auf und kommuniziert als Reaktion auf das Detektieren des Anhängers in den Bilddaten mit dem modifizierten Anhängerdetektionsmodell eine Verifizierung der Detektion an den entfernten Server;
    • - die Steuerung ist ferner dazu konfiguriert, Anweisungen auf einer Anzeige der Benutzerschnittstelle anzuzeigen, wobei die Anweisungen die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen;
    • - die Anweisungen kommunizieren eine Zielposition des Fahrzeugs, was es dem Benutzer ermöglicht, das Fahrzeug dazu zu steuern, sich an der Vielzahl von Perspektiven auszurichten;
    • - die Steuerung berechnet ferner einen Fahrzeugweg auf Grundlage der Bilddaten und steuert ein Servolenksystem und einen Antriebsstrang des Fahrzeugs, das dem Fahrzeugweg folgt, wobei der Fahrzeugweg das Fahrzeug an mindestens einer der Vielzahl von Perspektiven ausrichtet;
    • - die Steuerung kommuniziert ferner mit einer entfernten Vorrichtung, die eine Kamera umfasst, wobei die Bilddaten, die den Anhänger abbilden, ferner über die Kamera aufgenommen und an die Steuerung kommuniziert sind;
    • - die Detektionstrainingsroutine wird als Reaktion auf einen Fehler einer Detektionsroutine aktiviert, um den Anhänger in den Bilddaten zu identifizieren, und/oder
    • - der Fehler resultiert aus einer Detektion, dass der Anhänger einen vorbestimmten Konfidenzschwellenwert nicht erfüllt.
  • In einem anderen Aspekt wird ein Verfahren zum Modifizieren einer Anhängerdetektionsroutine für ein Fahrzeuganhängerdetektionssystem offenbart. Das Verfahren umfasst Identifizieren eines Anhängers in Bilddaten über ein Anhängerdetektionsmodell und Aktivieren einer Detektionstrainingsroutine für den Anhänger. Das Verfahren umfasst ferner Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren.
  • In verschiedenen Aspekten beinhaltet das System eines oder mehrere der folgenden Merkmale, Konfigurationen oder Schritte:
    • - Empfangen einer Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert oder verifiziert, und Identifizieren des Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten;
    • - Anwenden einer Kennung, die das Merkmal identifiziert, als Reaktion auf die Eingabe, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert;
    • - das Steuern der Aktualisierungsprozedur umfasst Kommunizieren der Bilddaten an einen entfernten Server und Modifizieren des Anhängeridentifizierungsmodells durch Liefern der Bilddaten an ein neuronales Netzwerk auf Grundlage der Bilddaten und der Kennung;
    • - Anzeigen von Anweisungen, die die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen, die in Bezug auf den Anhänger gezeigt sind, wobei die Anweisungen eine Zielposition des Fahrzeugs kommunizieren, was es dem Benutzer ermöglicht, das Fahrzeug dazu zu steuern, sich an der Vielzahl von Perspektiven auszurichten;
    • - Berechnen eines Fahrzeugwegs auf Grundlage der Bilddaten und Steuern eines Servolenksystems und eines Antriebsstrangs des Fahrzeugs, das dem Fahrzeugweg folgt, wobei der Fahrzeugweg das Fahrzeug an mindestens einer der Vielzahl von Perspektiven ausrichtet; und/oder
    • - die Bilddaten umfassen erste Bilddaten, die über ein Bildgebungssystem eines Fahrzeugs aufgenommen sind, und zweite Bilddaten, die über eine Kamera der entfernten Vorrichtung aufgenommen sind, und wobei das Verfahren ferner Kommunizieren mit einer entfernten Vorrichtung umfasst, die eine Kamera umfasst, wobei die Bilddaten, die den Anhänger abbilden, ferner über die Kamera der entfernten Vorrichtung aufgenommen sind.
  • In noch einem anderen Aspekt umfasst ein Anhängeridentifikationssystem für ein Fahrzeug eine Bildgebungsvorrichtung, die dazu konfiguriert ist, Bilddaten, die einen Anhänger abbilden, aufzunehmen, und eine Benutzerschnittstelle, die dazu konfiguriert ist, mit einem Benutzer zu kommunizieren. Eine Steuerung aktiviert eine Detektionstrainingsroutine für den Anhänger. Die Anhängertrainingsroutine umfasst Verarbeiten der Bilddaten und Anwenden eines Anhängerdetektionsmodells, das dazu konfiguriert ist, einen in den Bilddaten abgebildeten Anhänger zu detektieren, und Identifizieren eines Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten. Die Steuerung nimmt ferner die Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers auf und steuert eine Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren. Die Aktualisierungsprozedur verarbeitet die Bilddaten aus der Vielzahl von Perspektiven. In einigen Aspekten empfängt die Steuerung des Systems ferner eine Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert, und zeigt Anweisungen auf einer Anzeige der Benutzerschnittstelle an. Die Anweisungen verdeutlichen die Vielzahl von Perspektiven zur Ausrichtung.
  • Diese und weitere Merkmale, Vorteile und Ziele der vorliegenden Erfindung können durch den Fachmann anhand der nachfolgenden Beschreibung, Patentansprüche und angehängten Zeichnungen besser verstanden und nachvollzogen werden.
  • Figurenliste
  • In den Zeichnungen gilt Folgendes:
    • 1 ist eine perspektivische Ansicht eines Fahrzeugs in einer abgekuppelten Position relativ zu einem Anhänger;
    • 2 ist ein Diagramm eines Systems gemäß einem Aspekt der Offenbarung zum Unterstützen beim Ausrichten des Fahrzeugs an einem Anhänger in einer Position zum Kuppeln des Anhängers an das Fahrzeug;
    • 3 ist eine schematische Draufsicht auf ein Fahrzeug während eines Schritts der Ausrichtungssequenz an dem Anhänger;
    • 4 ist eine Draufsicht eines Fahrzeugs, das die Ausrichtungssequenz an dem Anhänger steuert;
    • 5 ist eine Abbildung eines Bildes, das von einer Fahrzeugkamera während eines Schrittes einer Ausrichtungssequenz empfangen wird, wobei ein Ziel dieses überlagert;
    • 6 ist ein Prozessdiagramm, das ein Verfahren zum Trainieren eines Detektionsmodells auf Grundlage von durch ein Fahrzeug aufgenommenen Bilddaten verdeutlicht;
    • 7 ist eine projizierte Ansicht eines Fahrzeugs und eines Anhängers, die eine Vielzahl von Fahrzeugpositionen verdeutlicht, die ein Sichtfeld einer Kamera einstellt, um Bilddaten des Anhängers aufzunehmen, die eine Vielfalt von Perspektiven verdeutlichen;
    • 8A ist eine Abbildung von Bilddaten, die durch eine Kamera des Fahrzeugs aus einer ersten Perspektive aufgenommen sind, wie in 5 eingeführt;
    • 8B ist eine Abbildung von Bilddaten, die durch eine Kamera des Fahrzeugs aus einer zweiten Perspektive aufgenommen sind, wie in 5 eingeführt;
    • 8C ist eine Abbildung von Bilddaten, die durch eine Kamera des Fahrzeugs aus einer dritten Perspektive aufgenommen sind, wie in 5 eingeführt; und
    • 9 ist ein Ablaufdiagramm, das ein Verfahren zum Führen eines Benutzers dazu verdeutlicht, Bilddaten zum Erzeugen eines trainierten Modells zur Identifizierung eines Anhängers gemäß der Offenbarung aufzunehmen.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Zum Zwecke der Beschreibung hierin versteht es sich, dass das offenbarte Anhängerrückfahrunterstützungssystem und die verwandten Verfahren verschiedene alternative Ausführungsformen und Ausrichtungen annehmen können, sofern nicht ausdrücklich das Gegenteil angegeben ist. Zudem versteht es sich, dass die in den beigefügten Zeichnungen veranschaulichten und in der nachstehenden Patentschrift beschriebenen konkreten Vorrichtungen und Prozesse lediglich beispielhafte Ausführungsformen der in den beigefügten Patentansprüchen definierten Erfindungsgedanken sind. Während verschiedene Aspekte des Anhängerrückfahrunterstützungssystems und der zugehörigen Verfahren unter Bezugnahme auf eine bestimmte veranschaulichende Ausführungsform beschrieben sind, ist die offenbarte Erfindung nicht auf derartige Ausführungsformen beschränkt, und zusätzliche Modifikationen, Anwendungen und Ausführungsformen können umgesetzt werden, ohne von der offenbarten Erfindung abzuweichen. Somit sind konkrete Abmessungen und andere physische Eigenschaften im Zusammenhang mit den hierin offenbarten Ausführungsformen nicht als einschränkend zu betrachten, sofern die Patentansprüche nicht ausdrücklich etwas anderes vorgeben.
  • Im hier verwendeten Sinne bedeutet der Begriff „und/oder“, wenn er in einer Liste von zwei oder mehr Elementen verwendet wird, dass jedes der aufgeführten Elemente für sich selbst eingesetzt werden kann oder jede Kombination von zwei oder mehr der aufgeführten Elemente eingesetzt werden kann. Zum Beispiel kann, wenn eine Zusammensetzung als die Komponenten A, B und/oder C enthaltend beschrieben ist, die Zusammensetzung nur A; nur B; nur C; A und B in Kombination; A und C in Kombination; B und C in Kombination; oder A, B und C in Kombination enthalten.
  • Unter allgemeiner Bezugnahme auf 1-4 bezeichnet das Bezugszeichen 10 ein Kupplungsassistenzsystem (auch als „Kupplungsunterstützungssystem“ bezeichnet) für ein Fahrzeug 12. In verschiedenen Ausführungsformen beinhaltet das Kupplungsunterstützungssystem 10 eine Steuerung 14, die dazu konfiguriert ist, Positionsdaten eines Kopplers 16 eines Anhängers 18 zu erfassen. Die Steuerung 14 kann dazu konfiguriert sein, einen Fahrzeugweg 20 abzuleiten, um eine Kupplung 22 (z. B. eine Kupplungskugel) des Fahrzeugs 12 an dem Koppler 16 auszurichten. Das Ableiten des Fahrzeugwegs 20 kann eine Vielfalt von Schritten beinhalten, einschließlich Detektieren und Ausgleichen einer Änderung einer Kopplerposition 24, um das Fahrzeug 12 zu steuern, um eine Kupplungsposition 26 zu lokalisieren, die an dem Koppler 16 ausgerichtet ist. Der Fahrzeugweg 20 kann eine Vielzahl von Segmenten 28 umfassen, die Änderungen der Betriebsrichtung oder Lenkrichtung des Fahrzeugs 12 entsprechen können. In verschiedenen Ausführungsformen kann das Ableiten des Fahrzeugwegs 20 Navigieren um störende Objekte oder Strukturen, Betreiben über unebenem Gelände, Folgen eines gewünschten Wegs, der durch einen Fahrzeugführer oder Benutzer U angegeben wird, usw. beinhalten. Dementsprechend kann die Offenbarung das Kupplungsunterstützungssystem 10 so bereitstellen, dass eine verbesserte Navigation des Fahrzeugs 12 und/oder Interaktion mit dem Koppler 16 bereitgestellt wird, sodass der Anhänger 18 wirksam ohne Komplikation mit dem Fahrzeug 12 verbunden werden kann.
  • In verschiedenen Fällen kann die Erfassung der Positionsdaten des Kopplers 16, wie hierin erörtert, das Aufnehmen und Verarbeiten von Bilddaten beinhalten. Um zu identifizieren, dass die Bilddaten den Anhänger 18 und konkreter die Kopplerposition 24 des Kopplers 16 abbilden, kann das System 10 die Bilddaten mit einem Anhängerdetektionsmodell verarbeiten. Das Anhängerdetektionsmodell kann als ein trainiertes Modell umgesetzt sein, das aus Algorithmen und Verarbeitungsschritten besteht, die die Bilddaten auswerten und bestimmen, ob ein abgebildetes Objekt oder abgebildete Eigenschaften einem Anhängertyp entsprechen, für den das Anhängerdetektionsmodell trainiert ist, um zu detektieren, dass die Kopplerposition 24 genau identifiziert werden kann. Dementsprechend stellt die Offenbarung die Detektion eines Anhängertyps bereit, der mit dem in den Bilddaten abgebildeten zusammenhängt, sodass das System 10 das Fahrzeug zur Verbindung zu der Kopplerposition 24 manövrieren kann.
  • Um die Bilddaten zu bewerten und den Anhänger 18 zu identifizieren, kann das System 10 die Bilddaten über das Anhängerdetektionsmodell verarbeiten, was den Vergleich von Attributen (z. B. Linien, Formen und deren räumlichen Beziehungen) der Bilddaten mit zuvor definierten oder gelernten Attributen in einer Bibliothek kompatibler Anhänger beinhalten kann. Eine derartige Bibliothek kann in Software einer Steuerung des Systems 10 programmiert sein und kann den Anhängertyp, der dem Anhänger 18 entspricht, auf Grundlage einer Vielfalt von Bildverarbeitungstechniken (z. B. Kantendetektion, Hintergrundsubtraktion, Vorlagenabgleich usw.) identifizieren. Aufgrund der außerordentlichen Vielfalt von Anhängertypen und den entsprechenden Eigenschaften kann die Identifizierungsfähigkeit für die weniger verbreiteten Anhänger jedoch in der vorkonfigurierten Software, die mit dem Fahrzeug 12 bereitgestellt wird, etwas eingeschränkt sein.
  • Um die Betriebsfähigkeit des Systems 10 zum Erkennen und Detektieren des Anhängers 18 zu verbessern, stellt die Offenbarung eine interaktive Prozedur bereit, wobei der Benutzer U mit dem Fahrzeug 12 und/oder einer entfernten Vorrichtung 30 interagieren kann, um Bilddaten des Anhängers 18 aufzunehmen. Dementsprechend stellt die Offenbarung, wenn das System 10 nicht in der Lage ist, den Anhänger 18 auf Grundlage der vorkonfigurierten Software, die mit dem Fahrzeug 12 geliefert wird, zu identifizieren, ein Verfahren und ein System zum Trainieren des Systems 10 dazu bereit, den Anhänger 18 in den Bilddaten genau zu detektieren, sodass eine Kompatibilität des Anhängers 18 und der Kopplerposition 24 des Kopplers 16. Wie unter Bezugnahme auf 5 genauer erörtert, können die bereitgestellten Systeme und Verfahren ein neuronales Netzwerk nutzen, um die Robustheit und Genauigkeit des Systems 10 zu verbessern, um neue oder zuvor untrainierte Anhängertypen zu identifizieren. Das neuronale Netzwerk kann dazu konfiguriert sein, zu lernen, wie die zuvor nicht identifizierten Anhänger oder Variationen von bekannten Anhängertypen genau detektiert werden sollen, die bewirken, dass die vorprogrammierten oder werkseitig konfigurierten Detektionsmodelle nicht in der Lage sind, einen Anhänger zu identifizieren. Auf diese Weise stellt die Offenbarung ein verbessertes Verfahren zum Trainieren des Systems 10 dazu bereit, neue Anhängertypen zu identifizieren, die zuvor nicht trainiert wurden, oder die werkseitig gelieferten trainierten Modelle oder die ursprüngliche Software abzustimmen, um die Robustheit der Detektion eines Typs des Anhängers 18 zu verbessern, um die Kopplerposition 24 besser zu identifizieren. Diese und andere Aspekte der Offenbarung werden in der folgenden Beschreibung ausführlicher beschrieben, vor allem in Bezug auf 5-9.
  • In Bezug auf den allgemeinen Betrieb des Kupplungsunterstützungssystems 10, wie in dem Systemdiagramm aus 2-4 veranschaulicht, beinhaltet das System 10 verschiedene Sensoren und Vorrichtungen, die fahrzeugstatusbezogene Informationen erlangen oder anderweitig bereitstellen. Diese Informationen beinhalten Positionierungsinformationen von einem Positionsbestimmungssystem 32, das eine Koppelnavigationsvorrichtung 34 oder zusätzlich dazu oder alternativ ein globales Positionsbestimmungssystem (GPS) beinhalten kann, um einen Koordinatenstandort des Fahrzeugs 12 auf Grundlage des einen Standorts oder der mehreren Standorte der Vorrichtungen innerhalb des Positionsbestimmungssystem 32 zu bestimmen. Insbesondere kann die Koppelnavigationsvorrichtung 34 den Koordinatenstandort des Fahrzeugs 12 innerhalb eines lokalisierten Koordinatensystems 36 mindestens auf Grundlage der Fahrzeuggeschwindigkeit und des Lenkwinkels δ ermitteln und nachverfolgen, wie in 3 gezeigt. Andere Fahrzeuginformationen, die durch das Kupplungsunterstützungssystem 10 empfangen werden, können eine Geschwindigkeit des Fahrzeugs 12 von einem Geschwindigkeitssensor 38 und eine Gierrate des Fahrzeugs 12 von einer Trägheitsmesseinheit (inertial measurement unit - IMU) 40 beinhalten. In verschiedenen Ausführungsformen kann die IMU 40 eine Vielfalt von Sensoren umfassen oder mit diesen in Kommunikation stehen, einschließlich unter anderem eines Gyroskops, eines Neigungsmessers und/oder eines Beschleunigungsmessers. Des Weiteren kann die Masse des Fahrzeugs 12 durch einen oder mehrere Gewichtssensoren oder Drucksensoren in Kommunikation mit der Steuerung 14 gemessen werden. Ferner wird in Erwägung gezogen, dass ein Näherungssensor 42 oder ein Array davon sowie weitere Fahrzeugsensoren und -vorrichtungen in zusätzlichen Ausführungsformen Sensorsignale oder andere Informationen bereitstellen können, wie etwa aufeinanderfolgende Bilder des Anhängers 18, einschließlich des detektierten Kopplers 16, welche die Steuerung 14 des Kupplungsunterstützungssystems 10 mit verschiedenen Routinen verarbeiten kann, um die Höhe H und die Position (z. B. auf Grundlage der Entfernung Dc und des Winkels αc) des Kopplers 16 zu bestimmen. Wie hierin erörtert, kann der Näherungssensor 42 einem Radarsensor, Lasersensor, Ultraschallsensor, induktiven oder verschiedenen Sensorvorrichtungen entsprechen, die in dem Fahrzeug 12 umgesetzt oder integriert sein können. In einer beispielhaften Ausführungsform kann der mindestens eine Detektionssensor einem bildbasierten Detektionssystem (z. B. einem Kamerasystem) entsprechen, das eine Vielzahl von Bildgebungsvorrichtungen umfassen kann.
  • Wie ferner in 2 gezeigt, steht eine Ausführungsform des Kupplungsunterstützungssystems 10 mit dem Lenksystem 50 des Fahrzeugs 12 in Kommunikation. Das Lenksystem 50 kann ein Servolenksystem 50 sein, das einen Lenkmotor 52 beinhaltet, um die gelenkten Räder 54 (1) des Fahrzeugs 12 dazu zu betätigen, das Fahrzeug 12 auf eine derartige Weise zu bewegen, dass sich die Fahrzeuggierung gemäß der Fahrzeuggeschwindigkeit und dem Lenkwinkel δ ändert. In der veranschaulichten Ausführungsform ist das Servolenksystem 50 ein elektrisches Servolenksystem (electric power-assisted steering system - EPAS-System), das einen elektrischen Lenkmotor 52 zum Drehen der gelenkten Räder 54 in einen Lenkwinkel δ auf Grundlage eines Lenkbefehls beinhaltet, wobei der Lenkwinkel δ von einem Lenkwinkelsensor 56 des Servolenksystems 50 erfasst werden kann. Der Lenkbefehl kann durch das Kopplungsunterstützungssystem 10 zum autonomen Lenken während eines Anhängerkopplungsausrichtungsmanövers bereitgestellt werden und kann alternativ manuell über eine Drehposition (z. B. einen Lenkradwinkel) eines Lenkrads des Fahrzeugs 12 bereitgestellt werden.
  • In der veranschaulichten Ausführungsform ist das Lenkrad des Fahrzeugs 12 mechanisch an die gelenkten Rädern 54 des Fahrzeugs 12 gekoppelt, sodass sich das Lenkrad zusammen mit den gelenkten Rädern 54 bewegt, wodurch ein manuelles Eingreifen mit dem Lenkrad während des autonomen Lenkens verhindert wird. Konkreter ist ein Drehmomentsensor 58 an dem Servolenksystem 50 bereitgestellt, der ein Drehmoment an dem Lenkrad erfasst, das nicht von einer autonomen Steuerung des Lenkrads erwartet wird und somit auf ein manuelles Eingreifen hinweist. In dieser Konfiguration kann das Kupplungsunterstützungssystem 10 den Fahrer warnen, das manuelle Eingreifen mit dem Lenkrad zu unterbrechen und/oder das autonome Lenken zu unterbrechen. In alternativen Ausführungsformen weisen einige Fahrzeuge ein Servolenksystem 50 auf, das es ermöglicht, dass ein Lenkrad teilweise von der Bewegung der gelenkten Räder 54 eines derartigen Fahrzeugs entkoppelt wird.
  • Unter weiterer Bezugnahme auf 2 stellt das Servolenksystem 50 Informationen bezüglich einer Drehposition der gelenkten Räder 54 des Fahrzeugs 12 an der Steuerung 14 des Kupplungsunterstützungssystems 10 bereit, einschließlich eines Lenkwinkels δ. Die Steuerung 14 verarbeitet in der veranschaulichten Ausführungsform den aktuellen Lenkwinkel zusätzlich zu verschiedenen Bedingungen des Fahrzeugs 12, um das Fahrzeug 12 entlang des gewünschten Wegs 20 zu führen (3). Es ist denkbar, dass das Kupplungsunterstützungssystem 10 in zusätzlichen Ausführungsformen eine integrierte Komponente des Servolenksystems 50 sein kann. Zum Beispiel kann das Servolenksystem 50 einen Kupplungsunterstützungsalgorithmus zum Erzeugen von Fahrzeuglenkinformationen und -befehlen in Abhängigkeit von allen oder einem Teil der Informationen beinhalten, die von einem Bildgebungssystem 60, dem Servolenksystem 50, einem Fahrzeugbremssteuersystem 62, einem Antriebsstrangsteuersystem 64 und anderen Fahrzeugsensoren und -vorrichtungen sowie einer Mensch-Maschine-Schnittstelle (humanmachine interface - „HMI“) 66 empfangen werden, wie nachstehend genauer erörtert.
  • Wie zudem in 2 veranschaulicht, kann das Fahrzeugbremssteuersystem 62 mit der Steuerung 14 kommunizieren, um dem Kupplungsunterstützungssystem 10 Bremsinformationen, wie etwa eine Fahrzeugraddrehzahl, bereitzustellen und um Bremsbefehle von der Steuerung 14 zu empfangen. Das Bremssteuersystem 62 kann dazu konfiguriert sein, Betriebsbremsen 62a und eine Feststellbremse 62b zu steuern. Die Feststellbremse 62b kann einem elektronischen Feststellbremssystem entsprechen, das mit der Steuerung 14 in Kommunikation stehen kann. Dementsprechend kann die Steuerung 14 im Betrieb dazu konfiguriert sein, die Bremsen 62a und 62b zu steuern sowie Fahrzeuggeschwindigkeitsinformationen zu detektieren, die anhand von einzelnen Raddrehzahlsensoren bestimmt werden können, die durch das Bremssteuersystem 62 überwacht werden. Die Fahrzeuggeschwindigkeit kann zudem durch das Antriebsstrangsteuersystem 64, den Geschwindigkeitssensor 38 und/oder das Positionierungssystem 32, neben anderen denkbaren Mitteln, bestimmt werden. In einigen Ausführungsformen können zudem einzelne Raddrehzahlen verwendet werden, um eine Fahrzeuggierrate zu bestimmen, die alternativ oder zusätzlich zu der Fahrzeug-IMU 40 an dem Kupplungsunterstützungssystem 10 bereitgestellt werden kann.
  • Das Kupplungsunterstützungssystem 10 kann ferner Fahrzeugbremsinformationen an dem Bremssteuersystem 62 bereitstellen, um es dem Kupplungsunterstützungssystem 10 zu ermöglichen, ein Bremsen des Fahrzeugs 12 während eines Zurücksetzens des Anhängers 18 zu steuern. Zum Beispiel kann das Kupplungsunterstützungssystem 10 in einigen Ausführungsformen die Geschwindigkeit des Fahrzeugs 12 während der Ausrichtung des Fahrzeugs 12 an dem Koppler 16 des Anhängers 18 regulieren, was die Möglichkeit eines Kontakts mit dem Anhänger 18 reduzieren kann, und kann das Fahrzeug 12 an einem bestimmten Endpunkt 70 des Wegs 20 vollständig zum Halten bringen. Hierin ist offenbart, dass das Kupplungsunterstützungssystem 10 zusätzlich ein Warnsignal entsprechend einer Benachrichtigung eines tatsächlichen, bevorstehenden und/oder erwarteten Kontakts mit einem Abschnitt des Anhängers 18 ausgeben kann. Wie vorstehend erwähnt, kann die Regulierung der Geschwindigkeit des Fahrzeugs 12 vorteilhaft sein, um einen Kontakt mit dem Anhänger 18 zu verhindern.
  • In einigen Ausführungsformen kann das Antriebsstrangsteuersystem 64, wie in der in 2 veranschaulichten Ausführungsform gezeigt, zudem mit dem Kupplungsunterstützungssystem 10 interagieren, um die Geschwindigkeit und die Beschleunigung des Fahrzeugs 12 zu regulieren, während dieses teilweise oder autonom an dem Anhänger 18 ausgerichtet wird. Während des autonomen Betriebs kann das Antriebsstrangsteuersystem 64 ferner dazu genutzt werden und konfiguriert sein, eine Drossel sowie eine Antriebszahnradauswahl eines Getriebes des Fahrzeugs 12 zu steuern. Dementsprechend kann die Steuerung 14 in einigen Ausführungsformen dazu konfiguriert sein, einen Gang des Getriebesystems zu steuern und/oder den Benutzer U dazu aufzufordern, in einen gewünschten Gang zu schalten, um teilautomatisierte Vorgänge des Fahrzeugs 12 abzuschließen.
  • Wie zuvor erörtert, kann das Kupplungsunterstützungssystem 10 mit einer Mensch-Maschine-Schnittstelle („HMI“) 66 des Fahrzeugs 12 kommunizieren. Die HMI 66 kann eine Fahrzeuganzeige 72 beinhalten, wie etwa eine an der Mittelkonsole montierte Navigations- oder Unterhaltungsanzeige (1). Die HMI 66 beinhaltet ferner eine Eingabevorrichtung, die durch Konfigurieren der Anzeige 72 als Teil eines Touchscreens 74 mit einer Schaltung 76 umgesetzt sein kann, um eine Eingabe entsprechend eines Standorts über die Anzeige 72 zu empfangen. Andere Formen der Eingabe, darunter ein oder mehrere Joysticks, digitale Eingabepads oder dergleichen, können anstelle des Touchscreens 74 oder zusätzlich zu diesem verwendet werden. Ferner kann das Kupplungsunterstützungssystem 10 über drahtlose Kommunikation mit einer anderen Ausführungsform der HMI 66 kommunizieren, wie etwa mit einem/r oder mehreren Handgeräten oder entfernten Vorrichtungen 80 (1), einschließlich eines oder mehrerer Smartphones. Die entfernte Vorrichtung 80 kann zudem die Anzeige 72 beinhalten, um einem Benutzer U ein oder mehrere Bilder und andere Informationen anzuzeigen. Zum Beispiel kann die entfernte Vorrichtung 80 ein oder mehrere Bilder des Anhängers 18 auf der Anzeige 72 anzeigen und kann ferner dazu konfiguriert sein, Remote-Benutzereingaben über die Touchscreen-Schaltung 76 zu empfangen. Zusätzlich kann die entfernte Vorrichtung 80 Rückkopplungsinformationen bereitstellen, wie etwa optische, akustische und taktile Warnungen.
  • In einigen Ausführungsformen kann das Kupplungsunterstützungssystem 10 ferner mit einer oder mehreren Indikatorvorrichtungen 78 in Kommunikation stehen. Die Indikatorvorrichtungen 78 können herkömmlichen Fahrzeugindikatoren entsprechen, wie etwa einer Hupe 78a des Fahrzeugs, Leuchten 78b, einem Lautsprechersystem 78c, Fahrzeugzubehörgeräten 78d usw. In einigen Ausführungsformen können die Indikatorvorrichtungen 78 ferner ein oder mehrere Zubehörgeräte 78d beinhalten, die Kommunikationsvorrichtungen, Fernsteuerungen und einer Vielfalt von Vorrichtungen entsprechen können, die einen Status und operative Rückmeldungen zwischen dem Benutzer U und dem Fahrzeug 12 bereitstellen können. Zum Beispiel können in einigen Ausführungsformen die HMI 66, die Anzeige 72 und der Touchscreen 74 durch die Steuerung 14 gesteuert werden, um Statusaktualisierungen bereitzustellen, die den Betrieb identifizieren, oder Anweisungen oder Rückmeldungen empfangen, um das Kupplungsunterstützungssystem 10 zu steuern. Zusätzlich kann die entfernte Vorrichtung 80 in einigen Ausführungsformen mit der Steuerung 14 in Kommunikation stehen und dazu konfiguriert sein, eine oder mehrere Warnungen oder Nachrichten im Zusammenhang mit dem Betrieb des Kupplungsunterstützungssystems 10 anzuzeigen oder anderweitig anzugeben.
  • Unter weiterer Bezugnahme auf die in 2 gezeigte Ausführungsform ist die Steuerung 14 mit einem Mikroprozessor 82 konfiguriert, um Logik und Routinen, die in einem Speicher 84 gespeichert sind, zu verarbeiten, der Informationen von den vorstehend beschriebenen Sensoren und Fahrzeugsystemen empfängt, einschließlich des Bildgebungssystems 60, des Servolenksystems 50, des Fahrzeugbremssteuersystems 62, des Antriebsstrangsteuersystems 64 und anderer Fahrzeugsensoren und -vorrichtungen. Die Steuerung kann über ein Kommunikationsnetzwerk des Fahrzeugs 12 mit den hierin beschriebenen verschiedenen Vorrichtungen kommunizieren, das ein Controller Area Network (CAN), ein Local Interconnect Network (LIN) oder andere in der Automobilbranche verwendete Protokolle beinhalten kann. Die Steuerung 14 kann Fahrzeuglenkinformationen und -befehle in Abhängigkeit von allen oder einem Teil der empfangenen Informationen erzeugen. Danach können die Fahrzeuglenkinformationen und -befehle an dem Servolenksystem 50 bereitgestellt werden, um das Lenken des Fahrzeugs 12 zu beeinflussen, um einen befohlenen Fahrweg 20 (3) zur Ausrichtung an dem Koppler 16 des Anhängers 18 zu erzielen. Die Steuerung 14 kann den Mikroprozessor 82 und/oder eine andere analoge und/oder digitale Schaltung zum Verarbeiten einer oder mehrerer Routinen beinhalten. Zudem kann die Steuerung 14 den Speicher 84 zum Speichern einer oder mehrerer Routinen beinhalten, einschließlich einer Bildverarbeitungsroutine 86, einer Wegableitungsroutine 88 und einer Betriebsroutine 90.
  • Es versteht sich, dass die Steuerung 14 eine eigenständige dedizierte Steuerung oder eine geteilte Steuerung sein kann, die in andere Steuerfunktionen integriert ist, wie etwa in ein Fahrzeugsensorsystem, in das Servolenksystem 50 und andere denkbare bordeigene oder nicht bordeigene Fahrzeugsteuersysteme integriert. Es versteht sich ferner, dass die Bildverarbeitungsroutine 86 durch einen dedizierten Prozessor ausgeführt werden kann, zum Beispiel innerhalb eines eigenständigen Bildgebungssystems für das Fahrzeug 12, das die Ergebnisse seiner Bildverarbeitung an andere Komponenten und Systeme des Fahrzeugs 12, einschließlich des Mikroprozessors 82, ausgeben kann. Ferner kann ein beliebiges System, ein beliebiger Computer, Prozessor oder dergleichen, das/der die Bildverarbeitungsfunktion ausführt, wie etwa die hierin beschriebene, hierin als „Bildprozessor“ bezeichnet werden, ungeachtet jeglicher anderer Funktionen, die es/er möglicherweise zudem umsetzt (einschließlich gleichzeitig mit dem Ausführen der Bildverarbeitungsroutine 86).
  • Das System 10 kann zudem das Bildgebungssystem 60 einschließen, das eine oder mehrere externe Kameras beinhaltet. Beispiele für Außenkameras sind in 4 veranschaulicht und beinhalten eine hintere Kamera 60a, eine Kamera 60b einer dritten Bremsleuchte (center high-mount stop light camera - CHMSL-Kamera) und zur Seite gerichtete Kameras 60c und 60d, wenngleich andere Anordnungen, die zusätzliche oder alternative Kameras beinhalten, möglich sind. In einem Beispiel kann das Bildgebungssystem 60 eine hintere Kamera 60a allein beinhalten oder kann derart konfiguriert sein, dass das System 10 in einem Fahrzeug mit mehreren Außenkameras nur die hintere Kamera 60a nutzt. In einem weiteren Beispiel können die verschiedenen in dem Bildgebungssystem 60 beinhalteten Kameras 60a-60d derart positioniert sein, dass sie sich im Allgemeinen in ihren jeweiligen Sichtfeldern überschneiden, die in der abgebildeten Anordnung die Sichtfelder 92a, 92b, 92c und 92d beinhalten, um der hinteren Kamera 60a, der CHMSL-Kamera 60b bzw. den zur Seite gerichteten Kameras 60c und 60d zu entsprechen. Auf diese Art und Weise können Bilddaten von zwei oder mehr der Kameras in der Bildverarbeitungsroutine 86 oder in einem anderen dedizierten Bildprozessor innerhalb des Bildgebungssystems 60 zu einem einzelnen Bild kombiniert werden.
  • Die Bildverarbeitungsroutine 86 kann konkret dazu programmiert oder anderweitig dazu konfiguriert sein, den Koppler 16 in Bilddaten zu lokalisieren. In einem Beispiel kann die Bildverarbeitungsroutine 86 den Koppler 16 innerhalb der Bilddaten auf Grundlage von gespeicherten oder anderweitig bekannten optischen Eigenschaften des Kopplers 16 oder von Kupplungen im Allgemeinen identifizieren. In einer weiteren Ausführungsform kann eine Markierung in Form eines Aufklebers oder dergleichen an einer vorgegebenen Position relativ zu dem Koppler 16 auf eine ähnliche Art und Weise an dem Anhänger 18 angebracht sein, wie sie in der gemeinsam übertragenen US-Patentschrift Nr. 9,102,271 beschrieben ist, deren gesamte Offenbarung durch diesen Verweis hierin aufgenommen ist. In einer derartigen Ausführungsform kann die Bildverarbeitungsroutine 86 mit identifizierenden Eigenschaften der Markierung zum Lokalisieren in Bilddaten sowie der Positionierung des Kopplers 16 relativ zu einer derartigen Markierung programmiert sein, sodass die Position 24 des Kopplers 16 auf Grundlage der Stelle der Markierung bestimmt werden kann.
  • Wie in 3 gezeigt, können die Bildverarbeitungsroutine 86 und die Betriebsroutine 90 zusammen verwendet werden, um den Weg 20 zu bestimmen, entlang welchem das Kupplungsunterstützungssystem 10 das Fahrzeug 12 führen kann, um die Kupplung 22 und den Koppler 16 des Anhängers 18 auszurichten. In dem gezeigten Beispiel kann eine Ausgangsposition des Fahrzeugs 12 relativ zu dem Anhänger 18 derart sein, dass sich der Koppler 16 lediglich im Sichtfeld 92c der Seitenkamera 60c befindet, wobei das Fahrzeug 12 seitlich von dem Anhänger 18 positioniert ist, wobei der Koppler 16 jedoch beinahe in Längsrichtung an der Kupplung 22 ausgerichtet ist. Auf diese Weise kann die Bildverarbeitungsroutine 86 bei einer Initialisierung des Kupplungsunterstützungssystems 10, wie etwa durch eine Benutzereingabe auf dem Touchscreen 74, zum Beispiel den Koppler 16 innerhalb der Bilddaten der Kamera 60c identifizieren und die Position 24 des Kopplers 16 relativ zu der Kupplung 22 schätzen. Die Position 24 des Kopplers 16 kann durch das System 10 unter Verwendung der Bilddaten durch Empfangen von Brennweiteninformationen innerhalb der Bilddaten identifiziert werden, um eine Entfernung Dc zu dem Koppler 16 und einen Winkel αc des Versatzes zwischen dem Koppler 16 und der Längsachse des Fahrzeugs 12 zu bestimmen. Diese Informationen können zudem in Anbetracht der Position 24 des Kopplers 16 innerhalb des Sichtfelds der Bilddaten verwendet werden, um die Höhe Hc des Kopplers 16 zu bestimmen oder zu schätzen. Sobald die Positionierung Dc, αc des Kopplers 16 bestimmt und wahlweise durch den Benutzer U bestätigt worden ist, kann die Steuerung 14 die Kontrolle über mindestens das Fahrzeuglenksystem 50 übernehmen, um die Bewegung des Fahrzeugs 12 entlang des gewünschten Wegs 20 dazu zu steuern, die Kupplungsposition 26 der Fahrzeugkupplung 22 an dem Koppler 16 auszurichten.
  • Unter weiterer Bezugnahme auf 3 und 4 mit zusätzlicher Bezugnahme auf 2 kann die Steuerung 14, nachdem sie die Positionierung Dc, αc des Kopplers 16 geschätzt hat, wie vorstehend erörtert, in einem Beispiel die Wegableitungsroutine 88 ausführen, um den Fahrzeugweg 20 zu bestimmen, um die Fahrzeugkupplung 22 an dem Koppler 16 auszurichten. Insbesondere kann die Steuerung 14 verschiedene Eigenschaften des Fahrzeugs 12 auf dem Speicher 84 gespeichert haben, einschließlich des Radstands W, der Entfernung D von der Hinterachse zu der Kupplung 22 und der Deichsellänge Lh sowie des maximalen Winkels δmax, in den die gelenkten Räder 54 gedreht werden können, und des Drehradius ρ. Dementsprechend kann das System 10 die Detektion der Kopplerposition 24 in den Bilddaten bereitstellen und das Fahrzeug 12 dazu steuern, entlang des Fahrzeugwegs zu manövrieren, sodass die Kupplung 22 nahe an dem Koppler 16 zur Verbindung ausgerichtet ist.
  • Unter erneuter Bezugnahme auf 1 und 2 beinhaltet die HMI 66 in einigen Fällen ferner eine Eingabevorrichtung, die durch Konfigurieren der Anzeige 72 als Teil des Touchscreens 74 mit einer Eingabeschaltung 76 umgesetzt sein kann, um eine Eingabe entsprechend eines Standorts über die Anzeige 72 zu empfangen. Andere Formen der Eingabe, darunter ein oder mehrere Joysticks, digitale Eingabepads oder dergleichen, können anstelle des Touchscreens 74 oder zusätzlich zu diesem verwendet werden.
  • Ferner kann das Kupplungsunterstützungssystem 10 über eine Kommunikationsschaltung 102 mit einer oder mehreren tragbaren oder entfernten Vorrichtungen 30 (1) kommunikativ gekoppelt sein, die zusätzlich und/oder alternativ als die Benutzereingabevorrichtung konfiguriert sein können. Die Kommunikationsschaltung 102 kann einen Hochfrequenzsender und -empfänger zum Senden und Empfangen von Signalen beinhalten. Die Signale können zum Übertragen von Daten konfiguriert sein und können verschiedenen Kommunikationsprotokollen entsprechen. Die Kommunikationsschaltung 102 kann zum Senden und Empfangen von Daten und/oder audiovisuellen Inhalten verwendet werden. Die Kommunikationsschaltung 102 kann einen oder mehrere von verschiedenen drahtgebundenen oder drahtlosen Kommunikationsmechanismen nutzen, einschließlich einer beliebigen gewünschten Kombination aus drahtgebundenen (z. B. Kabel und Glasfaser) und/oder drahtlosen (z. B. Mobilfunk-, Drahtlos-, Satelliten-, Mikrowellen- und Funkfrequenz-)Kommunikationsmechanismen und einer beliebigen gewünschten Netzwerktopologie (oder -topologien, wenn mehrere Kommunikationsmechanismen verwendet werden). Beispielhafte drahtlose Kommunikationsnetzwerke beinhalten einen drahtlosen Sendeempfänger (z. B. ein Bluetooth®, Bluetooth® Low Energy [BLE], Ultrabreitband [UWB]; und Z-Wave®; Zigbee®, Wi-Fi [802.11a, b, g, n usw.], IrDA, RFID usw.), Nahverkehrsnetze (local area networks - LAN), Weitverkehrsnetze (wide area networks - WAN), einschließlich des Internets, GSM, CDMA, WCDMA, GPRS, MBMS, WiMax, DVB-H, ISDB-T usw., sowie erweiterte Kommunikationsprotokolle, die zu einem späteren Zeitpunkt möglicherweise entwickelt werden.
  • Die entfernte Vorrichtung 30 kann zudem einen Touchscreen 104 beinhalten, der eine Anzeige 106 zum Anzeigen von Grafikdaten und anderer Informationen an den Benutzer U und eine Berührungseingabeschaltung 108 aufweist. Zum Beispiel kann die entfernte Vorrichtung 30 die Grafikdaten des Anhängers 18 auf der Anzeige 106 anzeigen und kann ferner dazu konfiguriert sein, Fernzugriffsbenutzereingaben über die Berührungseingabeschaltung 108 zu empfangen. Zudem kann die entfernte Vorrichtung 30 eine Kamera 110 umfassen, die dazu konfiguriert ist, Bilddaten aufzunehmen, die an das System 10 oder eine entfernte Datenbank kommuniziert werden können, sodass die Bilddaten genutzt werden können, um das Anhängerdetektionsmodell zu trainieren, wie unter Bezugnahme auf 5-8 genauer erörtert. Die entfernte Vorrichtung 30 kann zudem Rückmeldungsinformationen, Benutzeranweisungen bereitstellen und Anweisungen verdeutlichen, um den Benutzer U beim Abschluss der hierin beschriebenen Verfahren zu unterstützen. Es versteht sich, dass die entfernte Vorrichtung 30 eine beliebige von einer Vielfalt von Rechenvorrichtungen sein kann und einen Prozessor und einen Speicher beinhalten kann. Zum Beispiel kann die entfernte Vorrichtung 30 ein Mobiltelefon, eine mobile Kommunikationsvorrichtung, ein Funkschlüssel, ein Wearable (z. B. ein Fitness-Armband, eine Armbanduhr, eine Brille, Schmuck, ein Portemonnaie), ein Personal Digital Assistant, Kopfhörer und/oder andere Vorrichtungen sein, die Funktionen für eine drahtlose Kommunikation und/oder beliebige drahtgebundene oder drahtlose Kommunikationsprotokolle beinhalten.
  • Unter Bezugnahme auf 5-8 wird ein Verfahren zum Anweisen des Benutzers U, das System 10 dazu zu steuern, Bilddaten 112 zu sammeln, die den Anhänger 18 abbilden, um das Anhängerdetektionsmodell zu trainieren, ausführlicher erörtert. Wie zuvor erörtert, können die hierin beschriebenen Verfahren und Systeme umgesetzt werden, um das System 10 dazu zu trainieren, neue Anhängertypen zu identifizieren oder die Detektion von Anhängertypen, die bereits in dem System 10 programmiert sind, zu verbessern/zu optimieren. Zum Beispiel kann der Anhänger 18 in einigen Fällen einem der vorkonfigurierten oder vortrainierten Anhängertypen entsprechen, kann jedoch unter Fehlern leiden oder eine eingeschränkte Betriebseffizienz aufweisen, wenn er einen konkreten Anhänger identifiziert. Derartige Fehler können das Ergebnis von Beleuchtungs- oder Farbbedingungen des Anhängers 18, Modifikationen des Anhängers 18 oder Problemen mit der Robustheit des Anhängerdetektionsmodells in Bezug auf einen oder mehrere der Anhängertypen sein. Dementsprechend stellt die Offenbarung Benutzerverfahren und -prozeduren zum Erzeugen oder Verbessern einer Vorlage zum Identifizieren des Anhängers bereit, um eine Fähigkeit des Systems 10 zu verbessern, Anhängertypen zu detektieren, die nicht zur Detektion durch das System 10 vorkonfiguriert sind, und/oder die vorhandenen Algorithmen und trainierten Modelle für Anhängertypen zu verbessern, die durch das Anhängerdetektionsmodell nicht ohne Weiteres oder konsistent identifiziert werden. Um das Anhängerdetektionsmodell zu verbessern, stellt die Offenbarung Verfahren und Systeme bereit, die es dem Benutzer U ermöglichen, Bilddaten 112 zu sammeln, die den Anhänger 18 aus einer Vielfalt von Perspektiven mit dem Bildgebungssystem 60 und/oder der Kamera 110 der entfernten Vorrichtung 30 abbilden.
  • Wie in 5 verdeutlicht, können die offenbarten Systeme und Verfahren ein neuronales Netzwerk 116 nutzen, das eine Vielzahl von Neuronen 118 umfasst, um die Robustheit und Genauigkeit des Anhängerdetektionsmodells zu verbessern, das durch das System 10 verarbeitet wird. Im Allgemeinen sieht die Offenbarung vor, dass Bilddaten 112 durch den Benutzer U vor Ort über einen geführten Prozess gesammelt werden, der dazu konfiguriert ist, die Bilddaten 112 oder Trainingsdaten aufzunehmen, die zum Modifizieren und Verbessern des Trainings des Anhängeridentifizierungsmodells erforderlich sind. Auf diese Weise kann das System 10 über eine vom Benutzer eingeleitete Prozedur trainiert werden, sodass das Anhängerdetektionsmodell einen konkreten Anhänger genau detektiert, der nicht durch die bestehende Iteration des Anhängerdetektionsmodells erkannt wird. Eine derartige Prozedur kann die Kundenabhängigkeit von herstellergetriebenen Modifikationen an dem Anhängerdetektionsmodell reduzieren und zu einem erheblich verbesserten Betrieb des Systems 10 sowie einer verbesserten Benutzerzufriedenheit führen.
  • Im Betrieb kann die Modifikation des Anhängerdetektionsmodells durch einen Identifizierungsfehler in dem System 10 eingeleitet werden. Ein Beispiel für einen derartigen Fehler wird unter Bezugnahme auf 6 genauer erörtert, der aus einer Anforderung einer Kupplungsdetektion und -ausrichtung resultiert, die aufgrund eines Fehlers in der Bildverarbeitungsroutine 86 zum Identifizieren eines Anhängers 18 und/oder des Kopplers 16 in den Bilddaten 112, die durch das Bildgebungssystem 60 aufgenommen sind, nicht verarbeitet werden kann. Als Reaktion auf die Fehlerdetektion kann das System 10 den Benutzer U über ein Dialogfeld 114 oder andere Formen der Benachrichtigung auf der HMI 66 oder über die entfernte Vorrichtung 30 dazu auffordern, einen Anhängertrainingsmodus auszuwählen. Falls ausgewählt, führt der Anhängertrainingsmodus den Benutzer U durch eine Reihe von Schritten mit dem Fahrzeug 12 und/oder mit der entfernten Vorrichtung 30, um Bilddaten 112 des Anhängers 18 aus einer Vielzahl von Perspektiven und Entfernungen aufzunehmen. Das Ergebnis des Anhängertrainingsmodus ist die Sammlung von Bilddaten 112 (z. B. Einzelbilder, Videos usw.), die die Merkmale des Anhängers 18 und die Variationen der Perspektive abbilden, die erforderlich sind, um das Anhängerdetektionsmodell zu trainieren oder zu aktualisieren, um den Anhänger 18 zu detektieren. Die konkreten Details des Anhängertrainingsmodus werden unter Bezugnahme auf 6-9 ausführlich erörtert.
  • Unter weiterer Bezugnahme auf 5 kann das System 10 beim Aufnehmen der Bilddaten 112 die Bilddaten 112 und beliebige zusätzliche Trainingsinformationen (z.B. benutzerdefinierte Beschriftungen, relative Tiefeninformationen usw.), die den Bilddaten 112 entsprechen, über die Kommunikationsschaltung 102 an einen entfernten Server 120 kommunizieren. Sobald sie von dem entfernten Server 120 empfangen sind, können die Bilddaten 112 in einer Datenbank 122 gespeichert werden. Die Bilddaten 112 können dann über einen Überprüfungsprozess 124 in Vorbereitung auf den Eintritt in das neuronale Netzwerk 116 überprüft und gekennzeichnet werden. Die Überprüfungs- und Kennzeichnungsprozedur der Bilddaten 112 kann eine menschliche Identifizierung und Verifizierung, die Merkmale des Anhängers 18 identifiziert, sowie die Bestimmung, dass der Anhänger 18 zur Nutzung mit dem Fahrzeug 12 geeignet ist, beinhalten. Die durch den Überprüfungsprozess 124 identifizierten oder verifizierten Merkmale können verschiedene Merkmale des Anhängers 18 beinhalten und können insbesondere diejenigen beinhalten, die durch das Anhängerdetektionsmodul umgesetzt werden, um die Kopplerposition 24 zu bestimmen. Zum Beispiel kann der Überprüfungsprozess 124 die Räder 18a, eine Zunge 18b, einen Windenstand 18c, Pritschen 18d, eine Anhängerkarosserie 18e usw. identifizieren. Im Anschluss an die Kennzeichnung und Verifizierung des Anhängers 18 in den Bilddaten 112 kann der entfernte Server 120 die markierten und vorverarbeiteten Bilddaten an das neuronale Netzwerk 116 liefern, um das Anhängerdetektionsmodell zu trainieren und zu aktualisieren.
  • In verschiedenen Fällen kann der entfernte Server 120 ein oder mehrere Bildverarbeitungsmodule 130 umfassen, die mehreren Spezialprozessoren und Systemen entsprechen können, die dazu konfiguriert sind, die Bilddaten 112 zu verarbeiten und das neuronale Netzwerk 116 zu trainieren. Im Betrieb kann das Bildverarbeitungsmodul 130 die Bilddaten 112 über eine Vielzahl von Verarbeitungsmodulen verarbeiten. Zum Beispiel kann in einigen Umsetzungen das Bildverarbeitungsmodul 130 ein Vorverarbeitungsmodul 130a umfassen. Das Vorverarbeitungsmodul 130a kann dazu konfiguriert sein, jedes von dem Bildgebungsvorrichtungssystem 60 und/oder der Kamera 110 der entfernten Vorrichtung 30 aufgenommene Bild zuzuschneiden. Das Zuschneiden der Bilddaten 112 kann auf Grundlage der Positionsbeziehung eines oder mehrerer Merkmale des Anhängers 18, die in den Bilddaten 112 identifiziert sind, konsistent verarbeitet werden. Die Merkmale können unter anderem die Räder 18a, eine Zunge 18b, einen Windenstand 18c, Pritschen 18d, eine Anhängerkarosserie 18e usw. beinhalten. Auf diese Weise können die Bilddaten 112, die dem neuronalen Netzwerk 116 geliefert sind, in der Positionsvariation begrenzt sein, um die dem neuronalen Netzwerk 116 bereitgestellten Abtastdaten zu verbessern.
  • Das Bildverarbeitungsmodul 130 kann ferner ein Bildvergrößerungsmodul 130b umfassen, das dazu konfiguriert ist, die Bilddaten 112 durch eine Vielfalt von Techniken zu vergrößern. Zum Beispiel können die zugeschnittenen Bilddaten 112, die von dem Bildvorverarbeitungsmodul 130a empfangen sind, durch das Bildvergrößerungsmodul 130b durch verschiedene Techniken vergrößert werden, einschließlich unter anderem Spiegeln, Drehen, Verschieben, Skalieren, Farbverbesserung, Histogrammdehnen, Rauschfiltern, selektives Einschließen von Rauschen usw. Nach der Verarbeitung der Bilddaten 112 über das Bildvorverarbeitungsmodul 130a und/oder das Bildvergrößerungsmodul 130b kann das Verarbeitungsmodul 130 die Bilddaten 112 über eine oder mehrere Verarbeitungstechniken oder Merkmalsextraktionstechniken (z. B. Hough-Transformation) weiterverarbeiten, um die Räder 18a, eine Zunge 18b, einen Windenstand 18c, Pritschen 18d, eine Anhängerkarosserie 18e usw. zu identifizieren. Die Identifizierung derartiger Merkmale des Anhängers 18 kann dementsprechend zuerst durch das Verarbeitungsmodul 130 identifiziert werden und für den Überprüfungsprozess 124 geliefert werden oder die Merkmale können durch den Überprüfungsprozess 124 identifiziert und zur Bildoptimierung vor dem Training über das neuronale Netzwerk 116 an das Verarbeitungsmodul 130 geliefert werden.
  • Sobald die Bilddaten 112 durch das neuronale Netzwerk 116 empfangen sind, kann eine Deep-Learning-Prozedur umgesetzt werden, um die Standorte und Proportionen des Anhängers 18 und die Kopplerposition 24 in den Bilddaten 112 oder Einzelbildern zu regressieren oder zu schätzen. Zum Beispiel kann das neuronale Netzwerk 116 als tiefes Faltungsnetzwerk umgesetzt sein. Die Architektur des neuronalen Netzwerks 116 kann eine Vielzahl von Faltungsnetzwerken sein, denen Aktivierungsfunktionen folgen. Um dabei zu helfen, eine Überanpassung zu vermeiden, können Dropout-Schichten und andere Regularisierungstechniken umgesetzt werden. In einer beispielhaften Ausführungsform sind vollständig verbundene Schichten am Ende des neuronalen Netzwerks 116 dafür verantwortlich, die Kopplerposition 24 und Kursrichtung des Anhängers 18 zu identifizieren und auszugeben.
  • Im Allgemeinen kann das neuronale Netzwerk 116 eine Vielzahl von Neuronen 118 umfassen, die in einem dreidimensionalen Array angeordnet sein können, das eine Breite, eine Tiefe und eine Höhe umfasst. Die Anordnung der Neuronen 118 in dieser Konfiguration kann bereitstellen, dass jede Schicht (z. B. dimensionaler Querschnitt des Arrays) mit einem kleinen Teil der vorhergehenden Schicht verbunden ist. Auf diese Weise kann das neuronale Netzwerk 116 die Daten durch Regression verarbeiten, um jedes Bild auf einen einzelnen Vektor zu reduzieren, um die Kopplerposition 24 und eine Kursrichtung des Anhängers 18 zu identifizieren. Dementsprechend kann das neuronale Netzwerk 116 jedes Einzelbild der Bilddaten 112 Schicht für Schicht von den ursprünglichen Pixelwerten zur endgültigen Ausgabe umwandeln. Im Allgemeinen kann die konkrete Architektur des neuronalen Netzwerks 116 variieren, wie es sich für den Durchschnittsfachmann nachvollziehbar wäre. Auf diese Weise kann die Modifikation des Anhängerdetektionsmodells durch Feinabstimmung früherer Iterationen oder Versionen des Modells über das neuronale Netzwerk 116 abgeschlossen werden. Beispiele von vortrainierten Modellen, die zum Erzeugen des Anhängerdetektionsmodells umgesetzt sein können, können das Folgende beinhalten, sind aber nicht darauf beschränkt: LeNet, AlexNet, ZF Net, GoogLeNet, VGGNet, ResNet usw.
  • Die Anzahl der Bildproben, die zum Aktualisieren des Trainings des Anhängerdetektionsmodells erforderlich sind, kann auf Grundlage von experimentellen Daten bestimmt werden, die während des Trainings des Anhängerdetektionsmodells identifiziert werden. Dementsprechend können die Bilddaten 112, die zum Trainieren des Anhängerdetektionsmodells erforderlich sind, den Diversitäts- und Verteilungsanforderungen des Modells entsprechen. Das heißt, die Anzahl der Einzelbilder sollte zahlreich genug sein, um den Anhänger 18 aus verschiedenen Perspektiven abzubilden, und kann zudem Abbildungen des Anhängers 18 erfordern, die verschiedene Umgebungsbedingungen darstellen oder simulieren. In einigen Fällen können die Bilddaten 112 modifiziert werden, um die Diversitätsanforderungen für das Training zu erfüllen. Unabhängig von den Anforderungen hinsichtlich Diversität und Verteilung können die in Bezug auf 6-9 beschriebenen Verfahren umgesetzt sein, um die Bilddaten 112 über eine Interaktion zwischen dem System durch den Benutzer U und/oder über eine oder mehrere automatisierte Routinen des Fahrzeugs 12 zu sammeln. Dementsprechend kann die Offenbarung die Sammlung der Bilddaten 112 bereitstellen, die notwendig sind, um an den entfernten Server 120 zu kommunizieren, sodass das Anhängerdetektionsmodell die zuvor nicht identifizierten Anhänger oder Variationen bekannter Anhängertypen, die veranlassen, dass die vorprogrammierten oder werkseitig konfigurierten Detektionsmodelle nicht dazu in der Lage sind, einen Anhänger zu detektieren, genau detektieren kann. Auf diese Weise stellt die Offenbarung ein verbessertes Verfahren zum Trainieren des Systems 10 dazu bereit, neue Anhängertypen zu identifizieren, die zuvor nicht trainiert wurden, oder die werkseitig gelieferten trainierten Modelle oder die ursprüngliche Software abzustimmen, um die Robustheit der Detektion eines Typs des Anhängers 18 zu verbessern, um die Kopplerposition 24 besser zu identifizieren.
  • Unter Bezugnahme auf 6, 7, 8A, 8B und 8C; wie zuvor erörtert, kann der Anhängertrainingsmodus durch das System 10 als Reaktion auf einen Fehler in der Kupplungsdetektionsroutine 86 aktiviert werden, um einen Anhänger 18 und/oder den Koppler 16 in den Bilddaten 112 zu identifizieren, die durch das Bildgebungssystem 60 aufgenommen werden. Als Reaktion auf die Fehlerdetektion kann das System 10 den Benutzer U über das Dialogfeld 114 oder eine andere Form der Benachrichtigung auf der HMI 66 oder über die entfernte Vorrichtung 30 dazu auffordern, einen Anhängertrainingsmodus auszuwählen. Falls ausgewählt, führt der Anhängertrainingsmodus den Benutzer U durch eine Reihe von Schritten mit dem Fahrzeug 12 und/oder mit der entfernten Vorrichtung 30, um Bilddaten 112 des Anhängers 18 aus einer Vielzahl von Perspektiven und Entfernungen aufzunehmen. Beispiele für derartige perspektivische Ansichten 131a, 131b und 131c des Anhängers 18 sind in 8A, 8B und 8C gezeigt und können durch Ausrichten des Fahrzeugs 12 an dem Anhänger 18 entlang einer Vielzahl von Ausrichtungsvektoren 132a, 132b, 132c aufgenommen werden, die in 7 gezeigt sind.
  • Bei Einleitung des Trainingsmodus kann die Steuerung 14 des Systems die Bilddaten 112 verarbeiten und Abschnitte identifizieren, die Anhängermerkmale beinhalten, die als einem möglichen Anhänger 134 entsprechend identifiziert sind. Die Merkmale können unter anderem den Koppler 16, die Räder 18a, eine Zunge 18b, einen Windenstand 18c, Pritschen, eine Anhängerkarosserie 18e usw. beinhalten. In derartigen Fällen können die Abschnitte der Bilddaten 112, die die Merkmale des möglichen Anhängers 134 oder der möglichen Anhänger abbilden, Objekte beinhalten, die in der Bildverarbeitungsroutine 86 detektiert sind und nicht mit ausreichender Sicherheit detektiert sind, um den Anhänger 18 und den Koppler 16 automatisch zu identifizieren. Zusätzlich können Merkmale, die nicht durch das System 10 identifiziert werden können, identifiziert werden, indem entsprechende Abschnitte der Bilddaten 112 über die Fahrzeug-HMI 66 und/oder über die entfernte Vorrichtung 30 ausgewählt werden. Beispiele für derartige Auswahlen der Räder 18a und des Kopplers 16 sind in 8B bzw. 8C verdeutlicht. Die Auswahlen können zudem durch den Benutzer U bestätigt werden, um eine Auswahl oder Detektion der Merkmale in den Bilddaten 112, wie sie durch die Steuerung 14 detektiert sind, zu verifizieren.
  • Sobald die Merkmale des möglichen Anhängers 134 identifiziert sind, können die Anhängermerkmale durch die Steuerung 14 mit grafischen Kennungen 136 in den Bilddaten 112 hervorgehoben und umrissen und auf dem Anzeigebildschirm 72 der Fahrzeug-HMI 66 und/oder der Anzeige 106 der entfernten Vorrichtung 30 verdeutlicht werden. Auf diese Weise kann das System 10 den möglichen Anhänger 134 und entsprechende Merkmale in den Bilddaten 112 zur Überprüfung durch den Benutzer U darstellen und eine Anhängerkursrichtung 138 und eine Kopplerposition 24 auf Grundlage der in den Bilddaten 112 identifizierten Merkmale berechnen. Sobald die Anhängerkursrichtung 138 und die Kopplerposition 24 des möglichen Anhängers 134 durch die Steuerung 14 im Trainingsmodus identifiziert sind, kann die Steuerung 14 weiterhin eine Prozedur zum Aufnehmen der Bilddaten und entsprechenden Darstellungen des Anhängers 18 bestimmen, die zum Aktualisieren des Anhängerdetektionsmodells erforderlich sind.
  • Im Allgemeinen kann die Steuerung 14 die Ausrichtungsvektoren 132a, 132b, 132c berechnen, um den Benutzer U des Systems 10 dazu zu führen, die Bilddaten 112 aufzunehmen, die den Anhänger 18 in jeder der entsprechenden perspektivischen Ansichten 130a, 130b und 130c abbilden. Wie in 7 und 8A gezeigt, kann die Steuerung 14 verschiedene Richtungs- oder Ausrichtungsanweisungen 140 und eine Zielposition 142 des Fahrzeugs 12 darstellen, um den Benutzer U dabei zu unterstützen, die Bilddaten 112 in jeder der perspektivischen Ansichten 131a, 131b und 131c aufzunehmen. Dementsprechend kann der Benutzer U das Fahrzeug so manövrieren, dass es an dem Anhänger 18 ausgerichtet ist, sodass die Bilddaten 112 des möglichen Anhängers 134 zur Identifizierung aufgenommen werden können. Zum Beispiel kann die Steuerung 14 die Ausrichtung der Anhängerkursrichtung 138 relativ zu einer Ausrichtung des Fahrzeugs 12 überwachen und die Ausrichtungsanweisungen 140 als Richtungspfeile und Anweisungen (z. B. die Ausrichtungsanweisungen 140) verdeutlichen, die den Benutzer U dazu führen, das Fahrzeugs 12 zu jeder der Stellen, die das Fahrzeug 12 an den Ausrichtungsvektoren 132 ausrichten, zu navigieren, wie in 8A dargestellt.
  • Unter erneuter Bezugnahme auf 7 kann die Steuerung 14 in einigen Fällen dazu konfiguriert sein, das Fahrzeug 12 automatisch in jede der Zielpositionen 142 zu manövrieren, um das Fahrzeug an jedem der Ausrichtungsvektoren 132 auszurichten. Zum Beispiel kann die Steuerung 14, sobald die Kopplerposition 24 und die Anhängerkursrichtung 138 des möglichen Anhängers 134 in den Bilddaten identifiziert sind, die Wegableitungsroutine 88 und die Betriebsroutine 90 einleiten, sodass das System 10 das Fahrzeug dazu navigiert 12, sich an jedem der Ausrichtungsvektoren 132 auszurichten. Beim Berechnen des Fahrzeugwegs 20 kann die Steuerung 14 einen oder mehrere Wegpunkte entlang des Fahrzeugwegs 20 positionieren, um ein oder mehrere Sichtfelder des Bildgebungssystems 60 dazu auszurichten, die Bilddaten 112 aufzunehmen, die den Anhänger 18 abbilden. Ein Beispiel für einen Wegpunkt ist die Position des Fahrzeugs 12, die das Sichtfeld 92a positioniert, um die Bilddaten 112 aufzunehmen. Dementsprechend kann das System 10 dazu konfiguriert sein, das Fahrzeug 12 zu steuern, um Fahrzeugwege abzufahren, die das Fahrzeug 12 an jedem der Ausrichtungsvektoren 132 und einem oder mehreren Wegpunkten entlang der Fahrzeugwege zwischen den Ausrichtungsvektoren 132 ausrichten. Auf diese Weise kann das System 10 das Fahrzeug 12 automatisch unter der Aufsicht des Benutzers U manövrieren, um die Bilddaten 112 in jeder der perspektivischen Ansichten 131a, 131b, 131c sowie der Wegpunkte entlang des Fahrzeugwegs 20 aufzunehmen.
  • Zusätzlich zur Aufnahme der Bilddaten über das Bildgebungssystem 60 kann die Steuerung 14 gleichermaßen mit der entfernten Vorrichtung 30 kommunizieren und die Ausrichtungsvektoren 132 an den Benutzer U kommunizieren, sodass der Benutzer U die Kamera 110 dazu steuern kann, die Bilddaten 112 aufzunehmen. In einigen Fällen kann die entfernte Vorrichtung Software beinhalten, die dem entfernten Server 120 ähnlich ist oder mit diesem kommuniziert, um die Bilddaten 112 unabhängig von der Steuerung 14 zu verarbeiten. Zum Beispiel kann die entfernte Vorrichtung eine oder mehrere Anwendungen beinhalten, die Bildverarbeitungsprogramme ähnlich der Bildverarbeitungsroutine 86 beinhalten. Zusätzlich kann die entfernte Vorrichtung 30 ähnlich der Steuerung 14 dazu konfiguriert sein, eines oder mehrere von dem Dialogfeld 114, den grafischen Kennungen 136, Ausrichtungsanweisungen 140 usw. zu verdeutlichen, die den Benutzer U zu den Ausrichtungsvektoren 132 leiten, um die Bilddaten mit der Kamera 110 der entfernten Vorrichtung 30 aufzunehmen. Wie in 8A abgebildet, sind die Ausrichtungsanweisungen 140 als eine Fahrzeugzielposition 140a und eine Benutzerzielposition 140b abgebildet. Dementsprechend kann die hierin erörterte Anhängertrainingsroutine über die entfernte Vorrichtung 30 und/oder in Kombination mit der Steuerung 14 abgeschlossen werden, um die Bilddaten 112 aufzunehmen und die Bilddaten 112 zur Übertragung an den entfernten Server 120 zu kennzeichnen. Die Offenbarung stellt flexible Verfahren zum Aktualisieren des Anhängerdetektionsmodells bereit, um den möglichen Anhänger 134 in den Bilddaten 112 automatisch zu detektieren.
  • Im Allgemeinen können die grafischen Kennungen 136 und Ausrichtungsanweisungen 140 als gerenderte grafische Darstellungen oder Grafikdaten über die Bilddaten 112 gelegt und auf den Anzeigen 72, 106 angezeigt werden. Dementsprechend können die grafischen Daten dem Benutzer U interaktive Anweisungen bereitstellen, die auf den Bilddaten 112 überlagert sind und Richtungsanweisungen zum Lokalisieren des Fahrzeugs 12 oder eines Standorts des Benutzers U verdeutlichen, von dem die Bilddaten 112 zum Aktualisieren des Anhängerdetektionsmodells aufgenommen werden sollen. Dementsprechend können die gemäß der Offenbarung bereitgestellten Anweisungen in Form von akustischen Anweisungen, schriftlichen Anweisungen, die auf einer der Anzeigen 72, 106 gezeigt sind, grafischen Anweisungen, die auf den Bilddaten 112 überlagert sind, und/oder Anweisungen erweiterter Realität vorliegen, die eine gerenderte Abbildung des Fahrzeugs 12 oder des Benutzers U verdeutlichen, um die Bilddaten 112 aufzunehmen.
  • Unter Bezugnahme auf 9 ist ein Ablaufdiagramm gezeigt, das ein Verfahren 150 für eine Anhängertrainingsprozedur zum Aktualisieren des Anhängerdetektionsmodells verdeutlicht. Wie zuvor erörtert, kann das Verfahren 150 als Reaktion auf einen Fehler des Systems 10 eingeleitet werden, um den Anhänger 18 und den Koppler 16 in den Bilddaten automatisch zu detektieren. Infolgedessen kann der Anhängerdetektionstrainingsmodus durch den Benutzer U selektiv aktiviert werden, wie in 6 verdeutlicht. Im Betrieb kann das Verfahren 150 damit beginnen, Bilddaten in einem oder mehreren Sichtfeldern zu verarbeiten, wie sie durch das Bildgebungssystem 60 und/oder die Kamera 110 der entfernten Vorrichtung 30 aufgenommen werden (152). Sobald die anfänglichen Bilddaten, die den Anhänger 18 abbilden, aufgenommen sind, können/kann die Steuerung 14 und/oder die entfernte Vorrichtung 30 die Bilddaten verarbeiten, um einen möglichen Anhänger 134 zu identifizieren (154). Der mögliche Anhänger 134 kann einem Objekt entsprechen, das einer oder mehreren Eigenschaften des Anhängeridentifizierungsmodells entspricht, aber nicht mit ausreichender Konfidenz identifiziert wird, um die automatische Detektion des Anhängers 18 zu aktivieren. In derartigen Fällen kann das Verfahren 150 teilweise automatisiert sein und nur eine Rückmeldung und Verifizierung (siehe 8B und 8C) erfordern, dass der mögliche Anhänger 134 für eine Verbindung mit dem Fahrzeug 12 geeignet ist. Ähnlich wie bei den Verifizierungen kann das Verfahren 150 in Fällen, in denen die Steuerung 14 ein oder mehrere Merkmale des Anhängers 18 nicht detektieren kann, den Benutzer U dazu auffordern, einen Standort des Anhängers 18 und/oder Anhängermerkmale in Bilddaten über die HMI 66 und/oder die entfernte Vorrichtung 30 zu identifizieren (156).
  • Im Anschluss an Schritt 156 kann das Verfahren 150 auf Grundlage der durch die Steuerung 14 identifizierten Merkmale des möglichen Anhängers und/oder der durch den Benutzer identifizierten Verifizierungen oder Identifizierungen von Merkmalen des Anhängers 18 bestimmen, ob das Vorhandensein des Anhängers 18 verifiziert ist (158). Wenn die zum Verifizieren des Vorhandenseins erforderlichen Merkmale nicht identifiziert sind, kann das Verfahren den Benutzer U über einen Fehler in dem Anhängerdetektionstraining benachrichtigen (160). Wenn die Merkmale des Anhängers 18 identifiziert sind, kann das Verfahren 150 zu Schritt 162 übergehen, um eine geschätzte Anhängerkursrichtung 138 und die Kopplerposition 24 zu identifizieren. Auf Grundlage der Anhängerkursrichtung 138 und der Kopplerposition 24 kann das Verfahren die Fahrzeugausrichtungsvektoren 132 (oder allgemeiner die Kameraausrichtungsvektoren, aus denen die Bilddaten 112 aufgenommen werden, identifizieren, um das Anhängerdetektionsmodell zu aktualisieren oder zu modifizieren (164).
  • Sobald die Ausrichtungsvektoren 132 identifiziert sind, kann das Verfahren 150 weiterhin Anweisungen (z. B. akustische, visuelle, symbolische usw.) Anweisungen an den Benutzer U kommunizieren, um das Fahrzeug 12 dazu zu steuern, sich an den Kursvektoren auszurichten (166). Beim Erreichen jedes der angewiesenen Standorte kann das Verfahren 150 das Bildgebungssystem 60 oder die Kamera 110 dazu steuern, Bilddaten (z. B. Standbilder, Videoeinzelbilder usw.) aufzunehmen, die den Anhänger 18 in jeder der perspektivischen Ansichten 130a, 130b, 130c abbilden. Gleichermaßen kann die Steuerung 14 in einigen Fällen dazu konfiguriert sein, das Fahrzeug 12 dazu zu navigieren, sich an dem Bildgebungssystem 60 auszurichten, um die Bilddaten 112 in jeder der perspektivischen Ansichten 130a, 130b, 130c aufzunehmen. In Schritt 168 kann das Verfahren 150 verifizieren, dass die Bilddaten 112 in jeder der perspektivischen Ansichten 130a, 130b, 130c aufgenommen sind (168). Nach erfolgreicher Aufnahme der Bilddaten 112 kann die Steuerung 14 oder die mobile Vorrichtung 30 eine Kommunikationsschaltung wie hierin erörtert nutzen, um die Bilddaten an den entfernten Server 120 zu kommunizieren (170). Nach der Verarbeitung der Bilddaten durch den entfernten Server 120, wie unter Bezugnahme auf 5 erörtert, kann das aktualisierte Anhängerdetektionsmodell durch die Steuerung 14 empfangen werden, sodass die Detektionsroutine optimiert oder anderweitig aktualisiert werden kann, um den möglichen Anhänger 134 als einen kompatiblen Anhänger genau zu detektieren, wie hierin erörtert (172). In einigen Fällen kann eine Verifizierung der automatisierten Identifizierung des Anhängers 18 in den Bilddaten 112 abgeschlossen werden, bevor die Routine in Schritt 174 beendet wird.
  • Es versteht sich außerdem, dass an den vorstehend genannten Strukturen und den vorstehend genannten Verfahren Variationen und Modifikationen vorgenommen werden können, ohne von den Konzepten der vorliegenden Erfindung abzuweichen, und es versteht sich ferner, dass derartige Konzepte durch die folgenden Ansprüche abgedeckt sein sollen, es sei denn, durch den Wortlaut dieser Ansprüche wird ausdrücklich etwas anderes vorgegeben.
  • Der Durchschnittsfachmann versteht, dass die Konstruktion der beschriebenen Vorrichtung und anderer Komponenten nicht auf ein beliebiges konkretes Material beschränkt ist. Andere beispielhafte Ausführungsformen der hierin offenbarten Vorrichtung können aus einer breiten Vielfalt von Materialien gebildet werden, es sei denn, hierin wird etwas anderes beschrieben.
  • Für die Zwecke dieser Offenbarung bedeutet der Ausdruck „gekoppelt“ (in allen seinen Formen, koppeln, Kopplung, gekoppelt usw.) im Allgemeinen, dass zwei (elektrische oder mechanische) Komponenten direkt oder indirekt miteinander verbunden sind. Ein derartiges Verbinden kann dem Wesen nach stationär oder beweglich sein. Ein derartiges Verbinden kann erreicht werden, indem die beiden (elektrischen oder mechanischen) Komponenten und beliebige zusätzliche dazwischenliegende Elemente einstückig als ein einzelner einheitlicher Körper miteinander oder mit den beiden Komponenten gebildet werden. Ein derartiges Verbinden kann, sofern nicht anders vorgegeben, permanent sein oder entfernbar oder lösbar sein.
  • Es ist zudem wichtig, festzuhalten, dass die Konstruktion und Anordnung der Elemente der Vorrichtung, wie in den beispielhaften Ausführungsformen gezeigt, lediglich veranschaulichend sind. Obwohl nur einige wenige Ausführungsformen der vorliegenden Innovationen in dieser Offenbarung im Detail beschrieben worden sind, ist es für den Fachmann, der diese Offenbarung prüft, ohne Weiteres ersichtlich, dass viele Modifikationen möglich sind (z. B. Variationen hinsichtlich Größen, Abmessungen, Strukturen, Formen und Proportionen der verschiedenen Elemente, Werten von Parametern, Montageanordnungen, Verwendung von Materialien, Farben, Ausrichtungen usw.), ohne wesentlich von den neuartigen Lehren und Vorteilen des beschriebenen Gegenstands abzuweichen. Zum Beispiel können Elemente, die als einstückig gebildet gezeigt sind, aus mehreren Teilen aufgebaut sein, oder Elemente, die als mehrere Teile gezeigt sind, können einstückig gebildet sein, der Betrieb der Schnittstellen kann umgekehrt oder anderweitig variiert werden, die Länge oder Breite der Strukturen und/oder Elemente oder Verbindungsstücke oder anderer Elemente des Systems kann variiert werden, die Art oder Anzahl der Einstellpositionen, die zwischen den Elementen bereitgestellt sind, kann variiert werden. Es ist anzumerken, dass die Elemente und/oder Baugruppen des Systems aus einer breiten Vielfalt von Materialien konstruiert sein können, die ausreichende Festigkeit oder Haltbarkeit bereitstellen, in einer breiten Vielfalt von Farben, Texturen und Kombinationen. Dementsprechend ist beabsichtigt, dass alle derartigen Modifikationen im Umfang der vorliegenden Innovationen beinhaltet sind. Andere Substitutionen, Modifikationen, Veränderungen und Auslassungen können an der Gestaltung, an Betriebsbedingungen und an der Anordnung der gewünschten und anderen beispielhaften Ausführungsformen vorgenommen werden, ohne vom Geist der vorliegenden Innovationen abzuweichen.
  • Es versteht sich, dass beliebige beschriebene Prozesse oder Schritte innerhalb der beschriebenen Prozesse mit anderen offenbarten Prozessen oder Schritten zum Bilden von Strukturen innerhalb des Umfangs der vorliegenden Vorrichtung kombiniert werden können. Die hierin offenbarten beispielhaften Strukturen und Verfahren dienen veranschaulichenden Zwecken, und sind nicht als Einschränkung zu verstehen.
  • Es versteht sich zudem, dass Variationen und Modifikationen an den vorstehend erwähnten Strukturen und Verfahren vorgenommen werden können, ohne von den Konzepten der vorliegenden Vorrichtung abzuweichen, und es versteht sich ferner, dass derartige Konzepte von den folgenden Ansprüchen abgedeckt werden sollen, sofern diese Ansprüche durch ihren Wortlaut nicht ausdrücklich etwas anderes festlegen.
  • Die vorstehende Beschreibung wird ausschließlich als Beschreibung der veranschaulichten Ausführungsformen betrachtet. Modifikationen der Vorrichtung werden sich dem Fachmann und demjenigen, der die Vorrichtung herstellt oder verwendet, erschließen. Daher versteht es sich, dass die in den Zeichnungen gezeigten und vorstehend beschriebenen Ausführungsformen lediglich der Veranschaulichung dienen und nicht zur Einschränkung des Umfangs der Vorrichtung gedacht sind, der durch die nachfolgenden Ansprüche definiert ist, die gemäß den Grundsätzen des Patentrechts, einschließlich der Äquivalenzlehre, auszulegen sind.
  • Gemäß der vorliegenden Erfindung ist ein Anhängeridentifizierungssystem für ein Fahrzeug bereitgestellt, das Folgendes aufweist: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, Bilddaten aufzunehmen, die einen Anhänger abbilden; eine Benutzerschnittstelle, die dazu konfiguriert ist, mit einem Benutzer zu kommunizieren; und eine Steuerung, die Folgendes durchführt: Verarbeiten der Bilddaten und Anwenden eines Anhängerdetektionsmodells, das dazu konfiguriert ist, einen in den Bilddaten abgebildeten Anhänger aufzunehmen; Aktivieren einer Detektionstrainingsroutine für den Anhänger; Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers; und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren, wobei die Aktualisierungsprozedur die Bilddaten aus der Vielzahl von Perspektiven verarbeitet.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Empfangen einer Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert; und Identifizieren des Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Anwenden einer Kennung, die das Merkmal identifiziert, als Reaktion auf die Eingabe, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert.
  • Gemäß einer Ausführungsform umfasst die Aktualisierungsprozedur Folgendes: Kommunizieren der Bilddaten an einen entfernten Server, wobei der entfernte Server die Bilddaten verarbeitet und das Anhängeridentifizierungsmodell über ein neuronales Netzwerk modifiziert.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Empfangen eines modifiziertes Anhängeridentifizierungsmodells von dem entfernten Server; Aufnehmen zusätzlicher Bilddaten des Anhängers mit dem modifizierten Anhängerdetektionsmodell; und Kommunizieren einer Verifizierung der Detektion an den entfernten Server als Reaktion auf das Detektieren des Anhängers in den Bilddaten mit dem modifizierten Anhängerdetektionsmodell.
  • Gemäß einer Ausführungsform ist die Steuerung ferner dazu konfiguriert, Anweisungen auf einer Anzeige der Benutzerschnittstelle anzuzeigen, wobei die Anweisungen die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen.
  • Gemäß einer Ausführungsform kommunizieren die Anweisungen eine Zielposition des Fahrzeugs, was es dem Benutzer ermöglicht, das Fahrzeug dazu zu steuern, sich an der Vielzahl von Perspektiven auszurichten.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Berechnen eines Fahrzeugwegs auf Grundlage der Bilddaten; und Steuern eines Servolenksystems und eines Antriebsstrangs des Fahrzeugs, das dem Fahrzeugweg folgt, wobei der Fahrzeugweg das Fahrzeug an mindestens einer der Vielzahl von Perspektiven ausrichtet.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Kommunizieren mit einer entfernten Vorrichtung, die eine Kamera umfasst, wobei die Bilddaten, die den Anhänger abbilden, ferner über die Kamera aufgenommen und an die Steuerung kommuniziert sind.
  • Gemäß einer Ausführungsform wird die Detektionstrainingsroutine als Reaktion auf einen Fehler einer Detektionsroutine aktiviert, um den Anhänger in den Bilddaten zu identifizieren.
  • Gemäß einer Ausführungsform resultiert der Fehler aus einer Detektion, dass der Anhänger einen vorbestimmten Konfidenzschwellenwert nicht erfüllt.
  • Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren zum Modifizieren einer Anhängerdetektionsroutine für ein Fahrzeuganhängerdetektionssystem Folgendes: Identifizieren eines Anhängers in Bilddaten über ein Anhängerdetektionsmodell; Aktivieren einer Detektionstrainingsroutine für den Anhänger; Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers; und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren ferner Folgendes: Empfangen einer Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert oder verifiziert; und Identifizieren des Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Anwenden einer Kennung, die das Merkmal identifiziert, als Reaktion auf die Eingabe, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert.
  • Gemäß einer Ausführungsform umfasst das Steuern der Aktualisierungsprozedur Folgendes: Kommunizieren der Bilddaten an einen entfernten Server; und Modifizieren des Anhängeridentifizierungsmodells durch Liefern der Bilddaten an ein neuronales Netzwerk auf Grundlage der Bilddaten und der Kennung.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Anzeigen von Anweisungen, die die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen, die in Bezug auf den Anhänger gezeigt sind, wobei die Anweisungen eine Zielposition des Fahrzeugs kommunizieren, was es dem Benutzer ermöglicht, das Fahrzeug dazu zu steuern, sich an der Vielzahl von Perspektiven auszurichten.
  • In einem Aspekt der Erfindung beinhaltet das Verfahren Folgendes: Berechnen eines Fahrzeugwegs auf Grundlage der Bilddaten; und Steuern eines Servolenksystems und eines Antriebsstrangs des Fahrzeugs, das dem Fahrzeugweg folgt, wobei der Fahrzeugweg das Fahrzeug an mindestens einer der Vielzahl von Perspektiven ausrichtet.
  • In einem Aspekt der Erfindung umfassen die Bilddaten erste Bilddaten, die über ein Bildgebungssystem eines Fahrzeugs aufgenommen sind, und zweite Bilddaten, die über eine Kamera der entfernten Vorrichtung aufgenommen sind; und wobei das Verfahren Kommunizieren mit einer entfernten Vorrichtung beinhaltet, die eine Kamera umfasst, wobei die Bilddaten, die den Anhänger abbilden, ferner über die Kamera der entfernten Vorrichtung aufgenommen sind.
  • Gemäß der vorliegenden Erfindung ist ein Anhängeridentifizierungssystem für ein Fahrzeug bereitgestellt, das Folgendes aufweist: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, Bilddaten aufzunehmen, die einen Anhänger abbilden; eine Benutzerschnittstelle, die dazu konfiguriert ist, mit einem Benutzer zu kommunizieren; und eine Steuerung, die eine Detektionstrainingsroutine für den Anhänger steuert, wobei die Trainingsroutine Folgendes umfasst: Verarbeiten der Bilddaten und Anwenden eines Anhängerdetektionsmodells, das dazu konfiguriert ist, einen in den Bilddaten abgebildeten Anhänger aufzunehmen; Identifizieren eines Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten; Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers; und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren, wobei die Aktualisierungsprozedur die Bilddaten aus der Vielzahl von Perspektiven verarbeitet.
  • Gemäß einer Ausführungsform führt die Steuerung ferner Folgendes durch: Empfangen einer Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert; und Anzeigen von Anweisungen auf einer Anzeige der Benutzerschnittstelle, wobei die Anweisungen die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9102271 [0028]

Claims (15)

  1. Anhängeridentifikationssystem für ein Fahrzeug, das Folgendes umfasst: eine Bildgebungsvorrichtung, die dazu konfiguriert ist, Bilddaten aufzunehmen, die einen Anhänger abbilden; eine Benutzerschnittstelle, die dazu konfiguriert ist, mit einem Benutzer zu kommunizieren; und eine Steuerung, die: die Bilddaten verarbeitet und ein Anhängerdetektionsmodell anwendet, das dazu konfiguriert ist, einen Anhänger zu detektieren, der in den Bilddaten abgebildet ist; eine Anhängerdetektionsroutine für den Anhänger aktiviert; die Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers aufnimmt; und eine Aktualisierungsprozedur steuert, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren, wobei die Aktualisierungsprozedur die Bilddaten aus der Vielzahl von Perspektiven verarbeitet.
  2. System nach Anspruch 1, wobei die Steuerung ferner: eine Eingabe über die Benutzerschnittstelle empfängt, die ein Merkmal des Anhängers identifiziert; und den Anhängerkurs auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten identifiziert.
  3. System nach Anspruch 2, wobei die Steuerung ferner: als Reaktion auf die Eingabe eine Kennung anwendet, die das Merkmal identifiziert, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert.
  4. System nach Anspruch 3, wobei die Aktualisierungsprozedur Folgendes umfasst: Kommunizieren der Bilddaten an einen entfernten Server, wobei der entfernte Server die Bilddaten verarbeitet und das Anhängeridentifizierungsmodell über ein neuronales Netzwerk modifiziert.
  5. Vorrichtung nach Anspruch 4, wobei die Steuerung ferner: ein modifiziertes Anhängeridentifizierungsmodell von dem entfernten Server empfängt; zusätzliche Bilddaten des Anhängers mit dem modifizierten Anhängerdetektionsmodell aufnimmt; und als Reaktion auf das Detektieren des Anhängers in den Bilddaten mit dem modifizierten Anhängerdetektionsmodell eine Verifizierung der Detektion an den entfernten Server kommuniziert.
  6. System nach einem der Ansprüche 1-5, wobei die Steuerung ferner dazu konfiguriert ist, Anweisungen auf einer Anzeige der Benutzerschnittstelle anzuzeigen, wobei die Anweisungen die Vielzahl von Perspektiven zur Ausrichtung verdeutlichen.
  7. System nach Anspruch 6, wobei die Anweisungen eine Zielposition des Fahrzeugs kommunizieren, was es dem Benutzer ermöglicht, das Fahrzeug dazu zu steuern, sich an der Vielzahl von Perspektiven auszurichten.
  8. System nach Anspruch 1, wobei die Steuerung ferner: einen Fahrzeugweg auf Grundlage der Bilddaten berechnet; und ein Servolenksystem und einen Antriebsstrang des Fahrzeugs steuert, das dem Fahrzeugweg folgt, wobei der Fahrzeugweg das Fahrzeug an mindestens einer der Vielzahl von Perspektiven ausrichtet.
  9. System nach Anspruch 1, wobei die Steuerung ferner: mit einer entfernten Vorrichtung kommuniziert, die eine Kamera umfasst, wobei die Bilddaten, die den Anhänger abbilden, ferner über die Kamera aufgenommen und an die Steuerung kommuniziert sind.
  10. System nach Anspruch 1, wobei die Detektionstrainingsroutine als Reaktion auf einen Fehler einer Detektionsroutine aktiviert wird, um den Anhänger in den Bilddaten zu identifizieren.
  11. System nach Anspruch 10, wobei der Fehler aus einer Detektion resultiert, dass der Anhänger einen vorbestimmten Konfidenzschwellenwert nicht erfüllt.
  12. Verfahren zum Modifizieren einer Anhängerdetektionsroutine für ein Fahrzeuganhängerdetektionssystem, wobei das Verfahren Folgendes umfasst: Identifizieren eines Anhängers in Bilddaten über ein Anhängerdetektionsmodell; Aktivieren einer Anhängerdetektionsroutine für den Anhänger; Aufnehmen der Bilddaten des Anhängers aus einer Vielzahl von Perspektiven relativ zu einem Anhängerkurs des Anhängers; und Steuern einer Aktualisierungsprozedur, die dazu konfiguriert ist, ein modifiziertes Anhängerdetektionsmodell zu erzeugen, das dazu betriebsfähig ist, den Anhänger zu detektieren.
  13. Verfahren nach Anspruch 12, wobei das Verfahren ferner Folgendes umfasst: Empfangen einer Eingabe über die Benutzerschnittstelle, die ein Merkmal des Anhängers identifiziert oder verifiziert; und Identifizieren des Anhängerkurses auf Grundlage einer Ausrichtung des Merkmals in den Bilddaten.
  14. Verfahren nach Anspruch 13, wobei das Verfahren ferner Folgendes umfasst: Anwenden einer Kennung, die das Merkmal identifiziert, als Reaktion auf die Eingabe, wobei das Anhängeridentifizierungsmodell auf Grundlage der Bilddaten und der Kennung modifiziert ist, die das Merkmal identifiziert.
  15. Verfahren nach Anspruch 14, wobei das Steuern der Aktualisierungsprozedur Folgendes umfasst: Kommunizieren der Bilddaten an einen entfernten Server; und Modifizieren des Anhängeridentifizierungsmodells durch Liefern der Bilddaten an ein neuronales Netzwerk auf Grundlage der Bilddaten und der Kennung.
DE102021128907.6A 2020-11-10 2021-11-05 System und verfahren zum trainieren von anhängerdetektionssystemen Pending DE102021128907A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/093,731 US11721108B2 (en) 2020-11-10 2020-11-10 System and method for training trailer detection systems
US17/093,731 2020-11-10

Publications (1)

Publication Number Publication Date
DE102021128907A1 true DE102021128907A1 (de) 2022-05-12

Family

ID=81256275

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021128907.6A Pending DE102021128907A1 (de) 2020-11-10 2021-11-05 System und verfahren zum trainieren von anhängerdetektionssystemen

Country Status (3)

Country Link
US (1) US11721108B2 (de)
CN (1) CN114463711A (de)
DE (1) DE102021128907A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676300B2 (en) * 2020-12-09 2023-06-13 Continental Autonomous Mobility US, LLC Method for real-time tow ball detection
US11655893B1 (en) * 2021-10-25 2023-05-23 Ambarella International Lp Efficient automatic gear shift using computer vision
CN116804597B (zh) * 2023-08-22 2023-12-15 梁山华鲁专用汽车制造有限公司 挂车连接状态检测装置及检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9506774B2 (en) * 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US10150505B2 (en) * 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
GB2541898B (en) * 2015-09-02 2018-09-19 Jaguar Land Rover Ltd A monitoring system for use on a vehicle
US9731568B2 (en) 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10906583B2 (en) 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10706291B2 (en) 2017-03-03 2020-07-07 Magna Electronics Inc. Trailer angle detection system for vehicle
US10332002B2 (en) 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
US10532698B2 (en) 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US10059161B1 (en) * 2017-08-21 2018-08-28 Ford Global Technologies, Llc Capacitive monitoring of vehicle hitches
US10884425B2 (en) 2017-09-25 2021-01-05 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10987984B2 (en) 2017-09-25 2021-04-27 Continental Automotive Systems, Inc. Automated trailer hitching using image coordinates
US20190176699A1 (en) * 2017-12-08 2019-06-13 GM Global Technology Operations LLC Method of hitching a tow vehicle to a trailer, and vehicle therefor
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US10953711B2 (en) * 2018-07-18 2021-03-23 Ford Global Technologies, Llc Hitch assist system
US11433812B2 (en) 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11077795B2 (en) * 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
WO2020157530A1 (en) * 2019-02-01 2020-08-06 Carit Automotive GmbH & Co. KG Vehicle park assist systems
US20200317127A1 (en) * 2019-04-03 2020-10-08 GM Global Technology Operations LLC Method and apparatus for articulating mirrors for trailering in a motor vehicle
US10780752B1 (en) * 2019-04-09 2020-09-22 Ford Global Technologies, Llc Vehicle hitch ball detection system
US10991178B2 (en) * 2019-04-12 2021-04-27 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for trailer safety compliance
US20200346581A1 (en) * 2019-05-02 2020-11-05 Jared Lawson Trailer tracking commercial vehicle and automotive side view mirror system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method

Also Published As

Publication number Publication date
CN114463711A (zh) 2022-05-10
US20220147742A1 (en) 2022-05-12
US11721108B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
DE102021128907A1 (de) System und verfahren zum trainieren von anhängerdetektionssystemen
DE102018114607A1 (de) Hinteres Objektnäherungssystem eines Fahrzeugs mit mehreren Kameras
DE102018110270A1 (de) System zum automatischen ankuppeln eines anhängers
DE102021106153A1 (de) System und verfahren zur automatisierten fahrzeugfernausrichtung mit einem anhänger zur kupplung
DE102019124152A1 (de) Kupplungsunterstützungssystem
DE102017111530A1 (de) Systeme und Verfahren für ein Zugfahrzeug und einen Anhänger mit Rundumsichtbildgeräten
DE102020121899A1 (de) System zum ausrichten einer standort-kennung einer fahrzeugkupplung mit einem anhängerkoppler
DE102016122916A1 (de) Geführtes Anhängerkupplungssteuerungssystem und Verfahren
DE102019117270A1 (de) Fahrzeugkupplungsunterstützungssystem
DE102019117132A1 (de) System und verfahren zur erkennung von und reaktion auf störung zwischen anhängerverbindungsstück und anhängerkupplungskugel
DE102019123125A1 (de) System und verfahren zum rückwärtsbremsen während automatischer kupplungsausrichtung
DE102020129656A1 (de) Automatisiertes kupplungssystem mit variablen rückfahrwegen
DE102020127261A1 (de) Ausrichtungspositionsanpassung für attelkupplungsanhänger im kupplungsunterstützungsbetrieb
DE102019120599A1 (de) System und verfahren zur höhenverstellung von anhängern
DE102019119404A1 (de) Kupplungsunterstützungssystem
DE102019119422A1 (de) Kompensation für anhängerkupplerhöhe in einem automatischen kupplungsvorgang
DE102019121124A1 (de) Kupplungsunterstützungssystem
DE102019123250A1 (de) Verfahren und vorrichtung zum unterstützen von ferngesteuerten fahrzeugmanövern und einer fergesteuerten fussgängererfassung
DE102020124985A1 (de) Unterscheiden zwischen nahem anhänger und verbundenem anhänger
DE102020122363A1 (de) Erfassung eines eingeengten anhängers und reaktion darauf bei einem systemunterstützten kupplungsvorgang
DE102019129193A1 (de) Anwendung einer hilfsbeleuchtung in einem automatischen kupplungsvorgang
DE102019127044A1 (de) Kupplungsunterstützungssystem
DE102019127819A1 (de) Kupplungsunterstützungssystem
DE102020109279A1 (de) System und verfahren zur anhängerausrichtung
DE102019130550A1 (de) Gemeinsame aktivierungstaste für anhängerfunktionen

Legal Events

Date Code Title Description
R082 Change of representative

Representative=s name: BONSMANN - BONSMANN - FRANK PATENTANWAELTE, DE