DE102022126702A1

DE102022126702A1 - Fahrzeug- und anhängerradweg-kollisionserkennung und -warnung

Info

Publication number: DE102022126702A1
Application number: DE102022126702.4A
Authority: DE
Inventors: Mansoor Alghooneh; Joseph K. Moore; Norman J. Weigert; Tommy Thai Ngoc Tran
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-04-19
Filing date: 2022-10-13
Publication date: 2023-10-19
Also published as: US20230331298A1; US11794809B1; CN116946121A

Abstract

Verfahren, welches das Erkennen einer Hindernisposition als Reaktion auf ein Bild, das Bestimmen der Hindernisposition als Reaktion auf eine Abstandsmessung, die von einem Abstandssensor empfangen wird, das Vorhersagen eines Schleppfahrzeugweges als Reaktion auf einen Schleppfahrzeuglenkwinkel und eine Schleppfahrzeugposition, das Vorhersagen eines Anhängerradweges als Reaktion auf den Schleppfahrzeugweg, eine Fahrzeugabmessung und eine Anhängerabmessung durch einen Prozessor und das Erzeugen eines Warnsteuersignals als Reaktion auf einen Schnittpunkt der Hindernisposition und des Anhängerradweges umfasst.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich allgemein auf ein System zum Bereitstellen einer Anhängerführung und -unterstützung in einem Kraftfahrzeug. Genauer gesagt beziehen sich Aspekte der vorliegenden Offenbarung auf Systeme, Verfahren und Vorrichtungen zur Bestimmung eines Anhängerweges während des Anhängerbetriebs, zur Erkennung von Objekten innerhalb des bestimmten Anhängerweges und zur Bereitstellung einer Warnung für einen Fahrzeugsystemalgorithmus oder einen Fahrzeugbetreiber.
Personenkraftwagen sind seit langem mit Vorrichtungen zum Ziehen eines Anhängers hinter dem Fahrzeug ausgestattet. Bei diesen Anhängern kann es sich um Camping-, Boots- oder Nutzfahrzeuganhänger handeln. Diese Anhänger sind in der Regel mit einer mechanisch am Rahmen des Schleppfahrzeugs befestigten Anhängerkupplung verbunden. Die Anhänger sind mit der Anhängerkupplung durch eine Kupplungsanordnung verbunden, die an den Rahmen des Anhängers gekoppelt ist. Darüber hinaus sind elektrische Verbindungen zwischen dem Schleppfahrzeug und dem Anhänger vorgesehen, um die Beleuchtung und die Bremssysteme des Anhängers mit Strom zu versorgen und um elektronische Signale zu koppeln, die die Betätigung der Anhängerbremsen und das Aufleuchten verschiedener Anhängerleuchten, wie Bremsleuchten, Blinker, Rückfahrscheinwerfer usw., steuern.
Die Schwierigkeit besteht darin, dass der Anhängerweg während des Anhängerbetriebs außerhalb des Schleppfahrzeugwegs liegen kann. Bei Kurvenfahrten folgen die Räder des Anhängers oft einem Weg, der innerhalb der Räder des Schleppfahrzeugs liegt, und die Räder des Anhängers können mit Bordsteinen in Berührung kommen, wenn das Schleppfahrzeug nicht ausreichend großräumig abbiegt. Dieser Kontakt kann zu Schäden am Anhänger, an den Anhängerrädern und/oder am Bordstein führen. Außerdem können andere Teile des Anhängers Objekte berühren, denen das Schleppfahrzeug erfolgreich ausgewichen ist. Es wäre wünschenswert, ein Mittel zur Verfügung zu stellen, das dem Schleppfahrzeug und/oder dem Fahrer des Schleppfahrzeugs eine Rückmeldung gibt und gleichzeitig die vorgenannten Probleme überwindet.
BESCHREIBUNG
Hierin werden Fahrzeugsensorverfahren und -systeme und die zugehörige Steuerlogik zur Bereitstellung von Fahrzeugsystemen, Verfahren zur Herstellung und zum Betrieb solcher Systeme sowie Kraftfahrzeuge, die mit bordeigenen Steuersystemen ausgestattet sind, offenbart. Beispielhaft und ohne Einschränkung werden verschiedene Ausführungsformen von Systemen für die Objekterkennung und die Vorhersage von Kontaktereignissen für ein Schleppfahrzeug und einen Anhänger vorgestellt.
Gemäß einem Aspekt der vorliegenden Offenbarung umfasst ein Verfahren das Erkennen einer Hindernisposition als Reaktion auf ein Bild, das Bestimmen der Hindernisposition als Reaktion auf eine Abstandsmessung, die von einem Abstandssensor empfangen wird, das Vorhersagen eines Schleppfahrzeugweges als Reaktion auf einen Schleppfahrzeuglenkwinkel und eine Schleppfahrzeugposition, das Vorhersagen eines Anhängerradweges als Reaktion auf den Schleppfahrzeugweg, eine Fahrzeugabmessung und eine Anhängerabmessung durch einen Prozessor, und das Erzeugen eines Warnkontrollsignals als Reaktion auf einen Schnittpunkt der Hindernisposition und des Anhängerradweges.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung, ist ferner das Anzeigen eines Indikators für die Hindernisposition und eines Indikators für den Anhängerradweg auf einer Fahrzeugkabinenanzeige vorgesehen.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird das Bild von einer am Schleppfahrzeug montierten Kamera aufgenommen, wobei die Kamera ein vom Schleppfahrzeug aus nach vorne gerichtetes Sichtfeld hat.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird die Hindernisposition als Reaktion auf eine Tiefenmessung von einem am Schleppfahrzeug angebrachten Seitensichtsensor bestätigt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist die Fahrzeugabmessung ein Abstand von der Hinterachse des Fahrzeugs zu einem Anhängerkupplungspunkt und die Anhängerabmessung ist mindestens eines von einem Abstand von einer Anhängerradachse zu einem Anhängerkupplungspunkt und einer Anhängerspurbreite.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird die Hindernisposition als Reaktion auf eine Tiefenmessung von einem Ultraschallsensor bestätigt, der an dem Schleppfahrzeug angebracht ist.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird der Anhängerradweg als Reaktion auf einen Anhängerkupplungsauslenkwinkel vorhergesagt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird der Schleppfahrzeugweg als Reaktion auf mindestens eines von einer Beschleunigung, die von einer an einem Schleppfahrzeug angebrachten Trägheitsmesseinheit erfasst wird, und einer Verschiebung, die von einem an dem Schleppfahrzeug angebrachten Radkodierer erfasst wird, vorhergesagt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird das Bild als Reaktion auf eine Aktivierung des Anhängersystems und eine Erkennung einer Bewegung eines Schleppfahrzeugs aufgenommen.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist ferner das Ändern von Kartendaten als Reaktion auf die Hindernisposition und die Schleppfahrzeugposition vorgesehen, wobei der Anhängerradweg als Reaktion auf die Kartendaten bestimmt wird.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird das Warnkontrollsignal als Reaktion auf mindestens eines von einer Zeit bis zur Kollision und/oder einem Abstand zwischen der Hindernisposition und dem Anhängerradweg erzeugt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung enthält eine Vorrichtung eine Kamera, die so konfiguriert ist, dass sie ein Bild eines Sichtfeldes aufnimmt, das ein Objekt enthält, einen Abstandssensor, der so konfiguriert ist, dass er einen Abstand zu dem Objekt bestimmt, einen Prozessor, der so konfiguriert ist, dass er in Reaktion auf das Bild eine Objektposition relativ zu einer Schleppfahrzeugposition bestimmt, die Objektposition als Reaktion auf den Abstand zu dem Objekt bestätigt, die Objektposition als Reaktion auf den Abstand zu dem Objekt vorhersagt, einen Schleppfahrzeugweg als Reaktion auf einen Schleppfahrzeugauslenkwinkel und die Schleppfahrzeugposition vorhersagt, einen Anhängerradweg als Reaktion auf den Schleppfahrzeugweg, eine Fahrzeugabmessung und eine Anhängerabmessung vorhersagt, ein Warnkontrollsignals als Reaktion auf einen Schnittpunkt der Objektposition und des Anhängerradwegs erzeugt, und eine Warnung für einen Fahrzeugführer durch eine Benutzerschnittstelle als Reaktion auf das Warnkontrollsignal anzeigt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist das Hindernis ein Bordstein.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist der Ortungssensor ein globaler Positionierungssensor.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist die Kamera eine Stereokamera zur Aufnahme einer Vielzahl von Stereobildern, und die Objektposition wird als Reaktion auf die Vielzahl von Stereobildern bestimmt.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist der Abstandssensor ein Seitenansicht-Ultraschallsensor.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung umfasst der Prozessor ferner einen Speicher zum Speichern von Kartendaten und wobei der Prozessor ferner in der Lage ist, die Kartendaten als Reaktion auf die Objektposition und die Schleppfahrzeugposition zu ändern, wobei der Anhängerradweg als Reaktion auf die Kartendaten bestimmt wird.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung wird das Bild als Reaktion auf eine Aktivierung des Anhängersystems und die Erkennung einer Bewegung des Schleppfahrzeugs aufgenommen.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist die Fahrzeugabmessung ein Abstand von der Hinterachse des Fahrzeugs zu einem Anhängerkupplungspunkt und die Anhängerabmessung ist mindestens eines von einem Abstand von der Anhängeradachse zu einem Anhängerkupplungspunkt und einer Anhängerspurbreite.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung umfasst ein Anhängerweg-Gefahrerkennungssystem eine Anhängerschnittstelle zum Erkennen einer Verbindung zu einem Anhänger, eine Vorwärtssichtkamera zum Aufnehmen eines ersten Bildes, das eine Bordsteingefahr enthält, eine Seitenansichtskamera zum Aufnehmen eines zweiten Bildes, das die Bordsteingefahr enthält, einen Abstandssensor zum Bestimmen eines Abstands zu der Bordsteingefahr, einen Prozessor zum Schätzen einer Position der Bordsteingefahr als Reaktion auf das erste Bild, das zweite Bild relativ zu einer Schleppfahrzeugposition, Bestätigen der Position der Bordsteingefahr als Reaktion auf den Abstand zur Bordsteingefahr, Vorhersagen eines Schleppfahrzeugweges als Reaktion auf einen Schleppfahrzeugauslenkwinkel und die Schleppfahrzeugposition, Vorhersagen eines Anhängerradweges als Reaktion auf den Schleppfahrzeugweg, eine Fahrzeugabmessung und eine Anhängerabmessung, und Erzeugen eines Warnkontrollsignals als Reaktion auf einen Schnittpunkt der Hindernisposition und des Anhängerradweges, und eine Anzeige zum Anzeigen des zweiten Bildes und zum Überlagern eines ersten Indikators der Bordsteinposition und eines zweiten Indikators des Anhängerradweges über das zweite Bild.
Gemäß einem anderen Aspekt der vorliegenden Offenbarung ist ferner ein Lautsprecher vorgesehen, um als Reaktion auf das Warnkontrollsignal einen akustischen Alarm zu erzeugen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen und wobei:

1 eine beispielhafte Umgebung für die Verwendung des Anhängerweg-Gefahrerkennungssystems zeigt, gemäß einer Ausführungsform der vorliegenden Offenbarung;
2 ein Blockdiagramm zeigt, das ein System zur Implementierung des Anhängerweg-Gefahrerkennungssystem zeigt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung;
3 ein Flussdiagramm zeigt, das ein beispielhaftes Verfahren zur Steuerung des Anhängerweg-Gefahrerkennungssystem zeigt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung;
4 eine Benutzerschnittstellenanzeige zeigt, die dem Fahrer eine Rückmeldung über das Anhängerweg-Gefahrerkennungssystem bereitstellt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung;
5 ein Blockdiagramm zeigt, das ein System zur Implementierung des Anhängerweg-Gefahrerkennungssystem zeigt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung; und
6 ein weiteres Flussdiagramm zeigt, das ein beispielhaftes Verfahren zur Steuerung des Anhängerweg-Gefahrerkennungssystems zeigt, gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhaft und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, durch ausdrückliche oder stillschweigende Theorien gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der Beschreibung oder der folgenden detaillierten Beschreibung dargestellt sind. Wie hierin verwendet, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bieten.
In 1 ist eine Umgebung 100 für die Verwendung des Anhängerweg-Gefahrerkennungssystems gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung dargestellt. In der beispielhaften Umgebung 100 sind ein Schleppfahrzeug 105 und ein Anhänger 110 dargestellt. Das Schleppfahrzeug 105 kann mit optischen Bildgebungssensoren ausgestattet sein, zum Beispiel einer Frontkamera mit einem Kamerasichtfeld (FOV) 130 und einer rechten Seitenkamera mit einem rechten Seitensichtfeld (FOV) 131 und einer linken Seitenkamera mit einem linken Seitensichtfeld (FOV) 132, sowie mit Abstandsmesssensoren, zum Beispiel, einen vorderen linken Ultraschallsensor mit einem vorderen linken Ultraschallerfassungsbereich 135, einen vorderen rechten Ultraschallsensor mit einem vorderen rechten Ultraschallerfassungsbereich 137, einen hinteren linken Ultraschallsensor mit einem hinteren linken Ultraschallerfassungsbereich 139 und einen hinteren rechten Ultraschallsensor mit einem hinteren rechten Ultraschallerfassungsbereich 138.
Für Fahrzeugbetreiber ist es wünschenswert, dass Fahrzeuge und Anhänger nicht verkratzt oder beschädigt werden. Eine Quelle für Schäden an den Rädern von Fahrzeugen und Anhängern sind Schäden an Bordsteinen und Parkblöcken, die hauptsächlich durch den Kontakt der Radfelge mit dem Bordstein beim Abbiegen verursacht werden. Das beispielhafte System ist so konfiguriert, dass es Bordsteingefahren erkennt und den Fahrzeugradweg 120 in Bezug auf Bordsteingefahren und andere Objekte abschätzt, die auftreten können, und dem Fahrer Hinweise gibt, um Kollisionen zu vermeiden. Das beispielhafte System ist so konfiguriert, dass es Bordsteingefahren erkennt und einen Anhängerradweg 125 in Bezug auf Bordsteingefahren und andere Objekte abschätzt, die auftreten können, und dem Fahrer Hinweise gibt, um Kollisionen während des Anhängerbetriebs zu vermeiden. Das beispielhafte System kann eine Fusion von Fahrzeugwahrnehmungssensoren, einschließlich optischer Bildsensoren wie Kameras und Abstandsbildsensoren wie Ultraschallsensoren, Lidar oder Kurzstreckenradar, und anderen kinematischen und dynamischen Fahrzeugdaten zusammen mit Algorithmen verwenden, um Bordsteingefahren und andere gefährliche Objekte innerhalb des Wenderadius des Anhängers zu erkennen, zu lokalisieren, zu verfolgen und zu melden.
In einigen beispielhaften Ausführungsformen ist ein Schleppfahrzeug 105 mit einem System konfiguriert, das Bordsteine und andere Gefahren in der Nähe des Schleppfahrzeugs 105 und des Anhängers 110 wahrnimmt, wenn ein Anhängerbetrieb durchgeführt wird. Das beispielhafte System ermittelt, ob die Räder des Fahrzeugs oder des Anhängers oder andere Teile des Anhängers einen Bordstein 115 oder ein anderes Hindernis berühren könnten. Wenn dies der Fall ist, gibt das beispielhafte System einem Fahrzeugführer oder einem Fahrzeugsteuerungssystem Anweisungen, um diese Berührungen und anschließende Schäden am Fahrzeug 105 oder Anhänger 110 zu verhindern.
Das beispielhafte System kann eine Reihe von Wahrnehmungssensoren enthalten, einschließlich optischer Bildsensoren, z. B. Front- und Seitenkameras, und Abstandsbildsensoren, z. B. Ultraschallsensoren oder Kurzstreckenradare, zusammen mit einem Prozessor, einem Algorithmus und einer Kundenschnittstelle. In einigen beispielhaften Ausführungsformen kann das Schleppfahrzeug 105 mit Ultraschallsensoren an der vorderen und hinteren Ecke des Schleppfahrzeugs 105 ausgestattet sein, die zur Erkennung und Lokalisierung eines Bordsteins und/oder anderer Objekte neben dem Schleppfahrzeug 105 dienen. Das Schleppfahrzeug 105 ist ferner mit einer oder mehreren Vorwärtssichtkameras mit einem Vorwärtssichtfeld 130 und linken und rechten Seitensichtkameras mit einem linken Seitensichtfeld 132 und einem rechten Seitensichtfeld 131 ausgestattet.
In einigen beispielhaften Ausführungsformen kann das System so konfiguriert sein, dass es eine Sensorfusion der Erfassungen der einzelnen Sensoren durchführt, um eine lokale Bereichskarte zu erstellen, die sich auf das Schleppfahrzeug 105 bezieht. Während sich das Schleppfahrzeug 105 bewegt, wird die lokale Gebietskarte mit neu erfassten Informationen aktualisiert und bestehende Informationen werden als Reaktion auf nachfolgende Sensordaten bestätigt oder aktualisiert. Die Kombination von Daten aus verschiedenen Quellen mit Hilfe von Algorithmen zur Fusion von Multisensordaten nutzt die Datenredundanz, um die Unsicherheit der Objektposition zu verringern. In einigen beispielhaften Ausführungsformen können die Sensordaten unter Verwendung von Bayes'schen Fusionsalgorithmen mit Kalman-Filterung fusioniert werden.
Das System kann ferner ein Schätzungsmodell zur Erkennung und Lokalisierung eines Bordsteins oder von Objekten innerhalb des Bordsteins durchführen, indem es zwei komplementäre fahrzeuginterne Sensoren zusammenführt, darunter optische Bildsensoren wie Umgebungskameras und Abstandsbildsensoren wie Ultraschallsensoren. Das Schätzmodell kann einen kamerabasierten Algorithmus verwenden, um Front- und Seitenansichten des Schleppfahrzeugs 105 zu erfassen und abzubilden, und fusioniert dann seitliche Ultraschallsensoren mit den Front- und SeitensichtKameras unter Verwendung einer modellbasierten oder nicht modellbasierten Bayes'schen Filterung. In einigen beispielhaften Ausführungsformen können die Bordsteingefahr oder Hindernisse, die durch die Fusion von Kameras und Ultraschallsensoren erkannt wurden, kombiniert werden, um eine Karte des Bereichs um das Schleppfahrzeug 105 zu erstellen.
Das System kann ferner so konfiguriert sein, dass es die Telemetrie des Schleppfahrzeugs und des Anhängers überwacht, z. B. den Lenkwinkel und die Geschwindigkeit des Schleppfahrzeugs. Als Reaktion auf die Telemetrie ist das System dann so konfiguriert, dass es die Odometrie des Schleppfahrzeugs und des Anhängers in Abhängigkeit von der Telemetrie vorhersagt. Diese Schleppfahrzeug- und Anhänger-Odometrie bildet den voraussichtlichen Schleppfahrzeugradweg 120 und/oder den voraussichtlichen Anhängerradweg 125 ab. Dieser voraussichtliche Anhängerradweg 125 kann mit erkannten Hindernissen und Bordsteinen auf der lokalen Karte verglichen werden. Wird als Reaktion auf den vorausberechneten Anhängerradweg 125 ein Kontaktereignis vorhergesagt, kann dem Fahrzeugführer über eine Benutzerschnittstelle eine Warnung übermittelt werden, z. B. in Form eines akustischen Signals, einer Warnleuchte, einer Sitzvibration oder einer Grafik auf einer Anzeige im Fahrzeuginnenraum.
Ein Landmarken-Schätzmodell kann weiter verwendet werden, um das Schätzmodell durch den lokalen Odometrie-Algorithmus zu verbessern, der mehrere bordeigene Sensoren wie GPS, IMU, Radimpulse und Lenkwinkel zusammenführt. Der beispielhafte Algorithmus kann die lokale Odometrie verwenden, um die Landmarken räumlich und zeitlich zu stempeln und als Ergebnis eine lokale Karte der kürzlich gesehenen Landmarken zu erstellen. Der Algorithmus kann dann ein Kinematik-/Dynamikmodell des Schleppfahrzeugs 105 mit/ohne Anhänger 110 verwenden, um den projizierten Weg des Schleppfahrzeugs 105 oder der Anhängerräder abzuschätzen und zu beurteilen, ob dieser Weg mit den erkannten Landmarken in der lokalen Karte kollidieren würde. Die Wegführungslinie wird auf dem Sichtsystem mit Anmerkungen versehen, damit das Merkmal mit dem Fahrer interagieren kann. Die Wegführungslinie kann sich bei Änderungen der Lenkrichtung und des Kupplungsauslenkwinkels anpassen und ändern.
Das beispielhafte System kann ferner eine Benutzerschnittstelle für die Bereitstellung von Rückmeldungen an den Fahrzeugführer umfassen, wie z. B. akustische Signaltöne, Anzeigen und haptische Rückmeldungen, wenn eine potenzielle Gefahr erkannt wird. Beispielsweise können dem Fahrzeugführer Führungslinien angezeigt werden, wobei die Farbe der Führungslinien die Wahrscheinlichkeit einer möglichen Kollision zwischen den Rädern des Anhängers und dem Bordstein auf der Grundlage des Abstands der Räder zum Bordstein sowie der Zeit bis zur Kollision der Räder mit dem Bordstein darstellt.
In 2 ist nun ein Blockdiagramm eines Systems 200 zur Implementierung eines Anhängerweg-Gefahrerkennungssystems gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung dargestellt. Das beispielhafte System 200 kann sich in einem Schleppfahrzeug befinden und einen Prozessor 240, einen linken Abstandsbildgebungssensor 221, einen rechten Abstandsbildgebungssensor 223, einen linken optischen Sensor 224, einen rechten optischen Sensor 225, eine Kamera 222, einen GPS-Sensor 245, einen IMU-Sensor 235, eine Fahrzeugsteuerung 270, eine Benutzerschnittstelle 260, einen Speicher 265 und eine Anhängerschnittstelle 255 umfassen.
Bei der Kamera 222 kann es sich um eine nach vorne gerichtete Kamera handeln, die an einem vorderen Teil des Schleppfahrzeugs installiert ist, z. B. an der Frontverkleidung oder hinter einem Rückspiegel. Die Kamera 222 kann einen oder mehrere Bildsensoren enthalten, um ein nach vorne gerichtetes Sichtfeld von der Vorderseite des Schleppfahrzeugs aus zu erfassen. In einigen beispielhaften Ausführungsformen können die von der Kamera 222, dem linken optischen Sensor 224 und/oder dem rechten optischen Sensor 225 aufgenommenen Bilder fusioniert werden, um ein kombiniertes Bild eines Bereichs in der Nähe des Schleppfahrzeugs zu erzeugen.
Wenn mehr als ein Bildsensor verwendet wird, kann ein Stereobild erzeugt werden. An dem Stereobild können Bildverarbeitungsalgorithmen durchgeführt werden, um die Tiefeninformationen im vorderen Sichtfeld zu schätzen. Ein oder mehrere von der Kamera 222 aufgenommene Bilder können dann mit dem Prozessor 240 verbunden werden. Darüber hinaus kann das beispielhafte System einen oder mehrere seitliche optische Sensoren umfassen, z. B. einen optischen Sensor 224 für die linke Seite und einen optischen Sensor 225 für die rechte Seite, mit denen Bilder erfasst und/oder Tiefeninformationen für die linke und rechte Seite des Fahrzeugs und/oder Anhängers ermittelt werden.
Der linksseitige Abstandsbildgebungssensor 221 und der rechtsseitige Abstandsbildgebungssensor 223 können Abstandsbildgebungssensoren und/oder Tiefensensoren sein, die so konfiguriert sind, dass sie einen Impuls aussenden, eine Reflexion des Impulses empfangen und als Reaktion auf die Laufzeit des ausgesendeten Impulses einen Abstand zu einer vertikalen Oberfläche eines Objekts, wie z. B. eines Bordsteins oder eines anderen Hindernisses, schätzen. Der linksseitige Abstandsbildgebungssensor 221 und der rechtsseitige Abstandsbildgebungssensor 223 können Sichtfelder orthogonal zur Mittellinie des Schleppfahrzeugs haben und so ausgerichtet sein, dass das Sichtfeld eine erwartete Position eines Bordsteins oder anderer Objekte in der Nähe der Seite des Schleppfahrzeugs abdeckt. In einigen beispielhaften Ausführungsformen können der linksseitige Abstandsbildgebungssensor 221 und der rechtsseitige Abstandsbildgebungssensor 223 Ultraschallsensoren sein, die so konfiguriert sind, dass sie Ultraschall-Audioimpulse aussenden. Der Abstand zu einer Bordsteinkante oder einem Objekt kann in Abhängigkeit von der Laufzeit des Ultraschall-Audioimpulses geschätzt werden. Alternativ können der linke Abstandsbildgebungssensor 221 und der rechte Abstandsbildgebungssensor 223 ein Lidar-Sensor, ein Radar oder ein anderes Entfernungsmessgerät sein.
Der GPS-Sensor 245 ist so konfiguriert, dass er eine Vielzahl von mit Zeitstempeln versehenen Satellitensignalen empfängt, die die Standortdaten eines Sendesatelliten enthalten. Der GPS-Sensor 245 verwendet dann diese Informationen, um einen genauen Standort des GPS-Sensors 245 zu bestimmen. Der Prozessor 240 kann in der Lage sein, die Standortdaten vom GPS-Sensor 245 zu empfangen und/oder diese Standortdaten im Speicher 265 zu speichern. Der Speicher 265 kann dazu dienen, Kartendaten zur Verwendung durch den Prozessor 240 zu speichern.
Die IMU 235 ist eine Vorrichtung, die dazu dient, eine bestimmte Kraft eines Körpers zu messen, z. B. die Winkel- oder Linearbeschleunigung des Körpers, an dem sie angebracht ist. Die IMU 235 kann die Winkel- oder Linearbeschleunigung messen und zur Bestimmung der Querbeschleunigung, der Längsbeschleunigung, der Gierrate und der Neigung eines Fahrzeugs verwendet werden. Die IMU 235 ist innerhalb des Schleppfahrzeugs angebracht und dient dazu, ein Steuersignal zu erzeugen, das die gemessenen spezifischen Kräfte angibt, und dieses Steuersignal mit dem Prozessor 240 zu verbinden.
Die Benutzerschnittstelle 260 kann dazu dienen, eine Mensch-Maschine-Schnittstelle zwischen dem Fahrzeugsteuerungssystem und dem Fahrer zu schaffen. Bei der Benutzerschnittstelle 260 kann es sich um einen berührungsempfindlichen Bildschirm, ein Display, eine oder mehrere Tasten, Wählscheiben, Schalter usw. und/oder eine oder mehrere Leuchtdioden, Tonerzeugungsvorrichtungen, wie z. B. einen Lautsprecher, oder andere Anzeigen handeln. Die Benutzerschnittstelle 260 dient dazu, Benutzeranfragen zu empfangen, wie z. B. eine Anfrage zur Aktivierung eines Fahrzeugsystems, wie z. B. Einstellungen für einen ADAS-Betrieb. In einer beispielhaften Ausführungsform kann die Benutzerschnittstelle 260 dazu dienen, als Reaktion auf eine Benutzereingabe eine Aktivierung eines Anhängermodus in einem Schleppfahrzeug zu empfangen. Die Benutzerschnittstelle 260 kann ferner so konfiguriert sein, dass sie Benutzerwarnungen anzeigt, wenn ein Fahrzeug- oder Anhängerkontaktereignis vorhergesagt wird. Die Benutzerschnittstelle 260 kann einen vorhergesagten Schleppfahrzeugweg und/oder einen vorhergesagten Anhängerweg auf einer Anzeige in der Kabine des Schleppfahrzeugs anzeigen. Die Benutzerschnittstelle 260 kann so konfiguriert sein, dass sie als Reaktion auf eine Benutzereingabe Informationen über die Abmessungen und/oder die Konfiguration des Anhängers empfängt, oder sie kann als Reaktion auf eine Benutzereingabe einen Algorithmus zur Schätzung der Abmessungen des Anhängers initiieren.
In einigen beispielhaften Ausführungsformen kann die Benutzerschnittstelle 260 akustische und/oder visuelle Warnungen an den Fahrer ausgeben, die in Abhängigkeit von der Zeit bis zur Kollision und/oder der Entfernung zur Kollision verstärkt werden. Wenn beispielsweise ein projizierter Anhängerradweg innerhalb eines Grenzabstands zu einem Bordstein oder einem anderen Objekt verläuft, kann die Farbe eines angezeigten Anhängerradwegindikators von grün auf gelb oder von gelb auf rot wechseln. Ein akustisches Warnsignal kann von der Benutzerschnittstelle 260 als Reaktion darauf erzeugt werden, dass der projizierte Anhängerradweg innerhalb eines Schwellenabstands zu einem Bordstein oder einem anderen Objekt verläuft. Die Amplitude oder Frequenz eines akustischen Warnsignals kann sich ändern, wenn sich der Abstand zwischen der projizierten Radspur und einem Hindernis, wie z. B. einem Bordstein, ändert.
Die Fahrzeugsteuerung 270 kann so betrieben werden, dass sie den Betrieb des Fahrzeugs in Abhängigkeit von einem Steueralgorithmus oder ähnlichem steuert. In einer beispielhaften Ausführungsform kann die Fahrzeugsteuerung 270 so betrieben werden, dass sie Fahrzeugsteuersignale zur Kopplung mit einer Drosselklappensteuerung, einer Bremsensteuerung und einer Lenkungssteuerung oder dergleichen zur Steuerung des Fahrzeugs als Reaktion auf einen Algorithmus eines fortschrittlichen Fahrerassistenzsystems (ADAS) oder als Reaktion auf eine Eingabe des Fahrzeugbedieners über ein Lenkrad, Fahrzeugpedale und dergleichen erzeugt. Die Fahrzeugsteuerung 270 kann ferner dazu dienen, Systemsteuersignale zur Kopplung mit dem Prozessor 240 zu erzeugen, die Informationen wie die Geschwindigkeit des Fahrzeugs, die Beschleunigung, die Bewegungszyklen des Fahrzeugs, den Eingabezustand des Fahrzeugbedieners, den Anhänger usw. anzeigen.
Bei der Anhängerschnittstelle 255 kann es sich um ein Modul innerhalb des Schleppfahrzeugs handeln, das für den Empfang und die Übertragung von Steuersignalen und/oder Daten an den Anhänger konfiguriert ist. Die Anhängerschnittstelle 255 kann elektrisch mit einer Anhängersteckdose verbunden sein. Bei der Buchse kann es sich um eine 7-polige elektrische Buchse handeln, wobei jeder der Stifte separat elektrisch mit der Anhängerschnittstelle 255 verbunden ist. Die Steckdose ist so konfiguriert, dass sie einen Stecker aufnehmen kann, der mit einem elektrischen Kabel, das lang genug ist, um an der Steckdose des Schleppfahrzeugs befestigt zu bleiben, elektrisch mit einem Verkabelungssystem des Anhängers verbunden ist, während es die Bewegung des Anhängers während des Schleppbetriebs aufnimmt. In einigen beispielhaften Ausführungsformen kann die Anhängerschnittstelle 255 so konfiguriert sein, dass sie das Einstecken des Steckers in die Steckdose erkennt. Diese Erkennung kann als Reaktion auf eine Kapazitäts- oder Spannungsänderung an einem oder mehreren der elektrischen Anschlüsse an der Steckdose erfolgen. So kann die Anhängerschnittstelle 255 beispielsweise eine Spannungsänderung am Erdungsstift der Steckdose erkennen. Alternativ kann das Einstecken als Reaktion auf eine Zustandsänderung eines physischen Schalters erkannt werden, z. B. eines Tastschalters, der vom Stecker gedrückt wird, wenn dieser in die Steckdose eingesteckt wird.
Der Prozessor 240 ist so konfiguriert, dass er den Algorithmus zur Erkennung von Gefahren auf dem Anhängerweg ausführt. Als Reaktion auf die von der Kamera 222 empfangenen Bilddaten und die vom linken Abstandsbildgebungssensor 221 und vom rechten Abstandsbildgebungssensor 223 empfangenen Tiefenkarteninformationen ist der Prozessor 240 zunächst so konfiguriert, dass er eine lokale Bereichskarte von Objekten und Fahrbahnmerkmalen, wie Bordsteinen, in der Nähe des Schleppfahrzeugs erstellt. Der Prozessor 240 kann diese lokale Bereichskarte mit im Speicher 265 gespeicherten Kartendaten oder mit aus anderen Quellen empfangenen Kartendaten ergänzen. Die lokale Bereichskarte wird kontinuierlich aktualisiert, wenn Bilddaten und Tiefeninformationen empfangen werden. Die Schleppfahrzeugposition und des Anhängers werden innerhalb der lokalen Bereichskarte lokalisiert, so dass Entfernungen zwischen den erkannten Hindernissen, der Schleppfahrzeugposition und der Position des Anhängers bestimmt werden können.
Der Prozessor 240 ist ferner so konfiguriert, dass er Fahrzeugtelemetriedaten, wie z. B. Fahrzeuggeschwindigkeit, Lenkwinkel, Bremsinformationen und Ähnliches, von der Fahrzeugsteuerung 270 empfängt. Der Prozessor 240 kann ferner Beschleunigungsdaten von der IMU 235 empfangen. Als Reaktion auf die Telemetriedaten und die Beschleunigungsdaten ist der Prozessor 240 so konfiguriert, dass er einen voraussichtlichen Schleppfahrzeugweg schätzt. Als Reaktion auf den voraussichtlichen Schleppfahrzeugweg, den Kupplungsauslenkwinkel der Anhängevorrichtung, die Geometrie des Schleppfahrzeugs und die Geometrie des Anhängers sowie die Messungen sagt der Prozessor 240 als nächstes einen voraussichtlichen Anhängerweg voraus. Der voraussichtliche Schleppfahrzeugweg und der voraussichtliche Anhängerweg werden mit den Kartendaten verglichen und mögliche Kontaktereignisse mit dem Schleppfahrzeug, dem Anhänger oder den Rädern des Anhängers werden vorhergesagt. Wenn ein mögliches Kontaktereignis vorhergesagt wird, wird ein Warnsteuersignal erzeugt und mit der Benutzerschnittstelle 260 und/oder der Fahrzeugsteuerung 270 verbunden. In einigen beispielhaften Ausführungsformen kann das mögliche Kontaktereignis auf dem Abstand der Räder zum Bordstein sowie auf der Zeit bis zur Kollision der Räder mit dem Bordstein basieren. Die Fahrzeugsteuerung 270 kann die Warnsteuersignale als Informationen an einen ADAS-Algorithmus für den assistierten oder autonomen Fahrzeugbetrieb weitergeben.
In einigen beispielhaften Ausführungsformen kann der Prozessor 240 zunächst ein Bild und/oder Bilddaten von der Kamera 222 empfangen, die das vordere Sichtfeld des Schleppfahrzeugs abbilden. Der Prozessor 240 kann dann Kantenerkennungstechniken oder andere Bildverarbeitungstechniken durchführen, um die Position von Bordsteinen in der Nähe des Schleppfahrzeugs zu schätzen. Der Prozessor 240 kann anschließend Tiefendaten vom linken Abstandsbildgebungssensor 221 und vom rechten Abstandsbildgebungssensor 223 empfangen, die als Reaktion auf eine Impulsreflexion von einer oder mehreren vertikalen Oberflächen erzeugt wurden, und die Lage der Bordsteine bestätigen. Diese bestätigten Informationen werden als Kartendaten im Speicher 265 oder einem anderen zugänglichen Speicher gespeichert. Der Prozessor 240 kann dann als Reaktion auf die Messungen des Anhängers und die Telemetrie des Schleppfahrzeugs einen Anhängerweg vorhersagen. Als Reaktion auf den vorhergesagten Anhängerwegs kann der Prozessor 240 als Nächstes mögliche Kontaktereignisse zwischen dem Schleppfahrzeug, den Rädern des Schleppfahrzeugs und/oder den Rädern des Anhängers und dem Bordstein vorhersagen. Wenn ein Kontaktereignis vorhergesagt wird, wird ein Warnsignal vom Prozessor 240 an die Benutzerschnittstelle 260 übertragen, um den Fahrzeugführer auf das mögliche Kontaktereignis hinzuweisen.
In einigen beispielhaften Ausführungsformen kann eine Draufsicht des Schleppfahrzeugs und des Anhängers von verschiedenen Kameras um das Schleppfahrzeug und/oder den Anhänger herum erstellt werden. Ein Bild des Schleppfahrzeugs und ein Bild des Anhängers können der Draufsicht überlagert werden, ebenso wie Indikatoren für den vorhergesagten Schleppfahrzeugwegs und des vorhergesagten Anhängerwegs. Bordsteinkanten, Fahrbahnmarkierungen und andere Objekte können in der Draufsicht hervorgehoben oder durch zusätzliche Überlagerungen angezeigt werden. Voraussichtliche Kontaktpunkte können in der Draufsicht angezeigt werden. Mögliche Berührungspunkte können z. B. farblich hervorgehoben (z. B. rot), durch ein Symbol (z. B. ein Explosionssymbol) gekennzeichnet oder dem Fahrzeugführer auf andere Weise angezeigt werden.
3 zeigt ein Flussdiagramm, das ein beispielhaftes Verfahren 300 zur Steuerung eines Anhängerweg-Gefahrerkennungssystems gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung zeigt.
Das Verfahren ist zunächst so konfiguriert, dass es 310 Bilder von einer am Schleppfahrzeug montierten Kamera empfängt. Bei der Kamera kann es sich um eine Weitwinkelkamera handeln, die ein vorderes Sichtfeld vom Schleppfahrzeug aus hat, oder um eine Weitwinkelkamera, die ein seitliches Sichtfeld vom Schleppfahrzeug aus hat. In einigen beispielhaften Ausführungsformen kann die Kamera eine Vielzahl von Bildsensoren enthalten, die ein Stereobild aufnehmen können, in dem Tiefeninformationen für Objekte innerhalb des Stereobildes bestimmt werden können. Das Bild oder eine Reihe von Bildern, die in regelmäßigen Zeitabständen aufgenommen werden, können dann mit einem Bildprozessor verbunden werden. In einigen beispielhaften Ausführungsformen kann der Prozessor so konfiguriert sein, dass er horizontale Kanten oder Linien innerhalb des Bildes erkennt, die auf einen Bordstein hinweisen können.
Als Nächstes erkennt das Verfahren 315 Objekte in dem aufgenommenen Bild oder der Vielzahl von Bildern. Das Verfahren kann aufeinanderfolgende Bilder verwenden, die zu unterschiedlichen Zeiten aufgenommen wurden, um die Abstände zu Objekten unter Verwendung der Parallaxe innerhalb der Bilder zu schätzen, die durch die Bewegung des Schleppfahrzeugs verursacht wird. In einigen beispielhaften Ausführungsformen können die Bilder in Graustufen umgewandelt, eine inverse perspektivische Abbildung durchgeführt und anschließend eine Bildglättung vorgenommen werden. Die Canny-Kantenerkennung kann zur Erkennung von Kanten innerhalb des Bildes verwendet werden, z. B. von Bordsteinen, Lichtmasten usw. Eine Hough-Transformation kann auch verwendet werden, um Merkmale aus den Bildern zu extrahieren und Kanten oder andere Formen zu erkennen.
Als Nächstes empfängt das Verfahren 320 Tiefeninformationen von den Seitensichtsensoren, die ein seitliches Sichtfeld nahe der Vorderseite des Schleppfahrzeugs haben. Diese Seitensichtsensoren können Ultraschallsensoren, Kameras, Lidar, Radar oder ähnliches umfassen. In einigen beispielhaften Ausführungsformen sind die Seitensichtsensoren so konfiguriert, dass sie Tiefenkarten ihrer jeweiligen Sichtfelder erzeugen und diese Tiefenkarten mit dem Prozessor koppeln. Die Tiefen können einen Hinweis auf den Abstand zwischen dem Seitensichtsensor und einer vertikalen Fläche geben. In einigen beispielhaften Ausführungsformen werden Tiefeninformationen an den Prozessor gekoppelt, beispielsweise zweidimensionale Tiefeninformationen, die in regelmäßigen Zeitabständen mit der Bewegung des Schleppfahrzeugs erfasst werden. Das Sichtfeld kann beispielsweise die Form eines vertikalen Fächers haben, der eine Vielzahl von Tiefen in unterschiedlichen Höhen mit einem einzigen Azimut wiedergibt. Die Bewegung des Schleppfahrzeugs ermöglicht eine Variation der Azimutmessungen, die zur Erstellung der Tiefenkarte verwendet werden.
Als Nächstes bestätigt 325 das Verfahren die Position von Objekten, die anhand der von den Seitenansichtssensoren empfangenen Tiefeninformationen aus dem Bild ermittelt wurden. Beispielsweise kann eine im Bild erfasste horizontale Kante mit einer vertikalen Kante korreliert werden, die als Reaktion auf die Tiefeninformationen erfasst wurde, um die Position eines Bordsteins zu schätzen. Wenn die Position des Objekts nicht bestätigt wird, kehrt das Verfahren zum Empfang 310 des nächsten Bildes zurück. Wird die Position bestätigt, aktualisiert 330 das Verfahren eine in einem Speicher gespeicherte Karteninformation.
Das Verfahren ist so konfiguriert, dass die Karte mit Objektpositionen als Reaktion auf ein Landmarken-Schätzungsmodell aktualisiert 330 wird, das die von der Kamera erfasste Frontansicht und die von den Seitensichtsensoren erfassten Tiefeninformationen unter Verwendung der Bayes'schen Filterung zusammenführt. Der gespeicherte Kartenausschnitt kann in Abhängigkeit von der Schleppfahrzeugposition zugeschnitten werden. Beispielsweise kann das Verfahren Karteninformationen für einen vorbestimmten Radius um das Schleppfahrzeug speichern, wobei die Objektinformationen verworfen werden, sobald das Objekt aus dem vorbestimmten Radius herausfällt.
Als nächstes wird das Verfahren so konfiguriert, dass es Telemetriedaten von der Steuerung des Schleppfahrzeugs oder von anderen Sensoren des Schleppfahrzeugs empfängt 335. Die Telemetriedaten können die Geschwindigkeit des Fahrzeugs, den Standort, die Geschwindigkeit, den Lenkwinkel, den Grad der Bremsbetätigung, verschiedene von der IMU des Fahrzeugs erfasste Beschleunigungen oder Ähnliches umfassen. Das Landmarken-Schätzungsmodell kann durch den lokalen Odometrie-Algorithmus weiter verbessert werden, der mehrere bordeigene Sensoren wie GPS, IMU, Radimpulse und Lenkwinkel unter Verwendung der Bayes'schen Filterung zusammenführt.
Das Verfahren prognostiziert als Nächstes den Schleppfahrzeugweg als Reaktion auf die empfangenen Telemetriedaten. Der Schleppfahrzeugweg wird unter Verwendung der lokalen Karte und eines Kinematik-/Dynamikmodells des Schleppfahrzeugs vorhergesagt, um den projizierten Fahrzeugweg zu schätzen. Als Nächstes verwendet das Verfahren den vorhergesagten Anhängerweg, die Abmessungen des Anhängers und, in einigen beispielhaften Ausführungsformen, den Kupplungsauslenkwinkel, um den Anhängerweg vorherzusagen. Insbesondere kann das Verfahren die Anhängerradwege vorhersagen.
Als Nächstes prognostiziert das Verfahren 350 mögliche Kontaktereignisse als Reaktion auf die Kartendaten und den prognostizierten Anhängerweg. In einigen beispielhaften Ausführungsformen kann der Anhängerweg-Gefahrerkennungsalgorithmus beurteilen, ob sich der Anhängerradweg mit den erkannten Landmarken in der lokalen Karte schneiden könnte. Wenn kein Schnittpunkt vorhergesagt wird, was bedeutet, dass kein Kontaktereignis eintreten wird, ist das Verfahren so konfiguriert, dass es zum Empfang 310 des nächsten Bildes zurückkehrt.
Wenn ein Kontaktereignis vorhergesagt wird, ist das Verfahren als Nächstes so konfiguriert, dass es eine Warnung erzeugt, die dem Fahrzeugführer oder einem Fahrzeugsteuerungssystem, das einen ADAS-Algorithmus ausführt, übermittelt wird. Für eine Warnung an den Fahrzeugführer kann auf einer grafischen Benutzeroberfläche einer Fahrzeugkabinenanzeige eine projizierte Anhängerwegführungslinie vermerkt werden. In einigen beispielhaften Ausführungsformen kann die Wegführungslinie adaptiv sein und ihre Position in Bezug auf ein angezeigtes Hindernis mit der Änderung des Lenkrads und des Kupplungsauslenkwinkels ändern. So kann beispielsweise ein Bordstein auf der Anzeige angezeigt werden und der projizierte Anhängerradweg kann ebenfalls projiziert werden. Wenn sich der projizierte Anhängerradweg dem Bordstein nähert, nähert sich der angezeigte projizierte Anhängerradweg dem Bordsteinindikator, und die Farbe des angezeigten projizierten Anhängerradwegs kann sich ändern, um die erhöhte Wahrscheinlichkeit eines Kontakts hervorzuheben. Eine akustische, haptische oder andere Warnung für den Fahrzeugführer kann ausgelöst werden, wenn der Abstand zwischen dem projizierten Anhängerradweg und dem Hindernis einen Schwellenwert erreicht. Nachdem die Warnung erzeugt wurde, kehrt das Verfahren zum Empfang 310 eines nachfolgenden Bildes zurück.
In einigen beispielhaften Ausführungsformen nutzt das Verfahren das Odometriemodell des Fahrzeugs, um eine räumlich-zeitliche Karte der kürzlich gesehenen Orientierungspunkte zu erstellen, indem Sensoren wie Kameras, Ultraschall (und/oder Kurzstreckenradar), Sensoren für Fahrzeugdynamik und -kinematik sowie Modelle wie Lenkradwinkel, GPS, IMU und Radkodierer zusammengeführt werden. Das Verfahren fusioniert die räumlich-zeitliche Karte der Landmarken sowie die projizierte/vorhersagende Trajektorie der Fahrzeug-/Anhängerräder, die entwickelt wurde, um zu beurteilen, ob die Fahrzeugräder im Begriff sind, mit diesen Landmarken zu kollidieren, basierend auf dem Abstand der Räder zu den Landmarken oder der Zeit bis zur Kollision der Räder mit den Landmarken oder einer Kombination aus beidem.
Das Verfahren kann die projizierte oder vorhersagende Trajektorie der Fahrzeug-/Anhängerräder bestimmen, indem es das Fahrzeug-/Anhängermodell, einschließlich, aber nicht beschränkt auf das Dynamik- oder Kinematikmodell, sowie die fahrzeugeigenen Sensoren, einschließlich, aber nicht beschränkt auf den Lenkradwinkel und die IMU, zusammen mit dem Kupplungsauslenkwinkel zwischen dem Fahrzeug und dem Anhänger und anderen Fahrzeug- und Anhängerabmessungen verwendet. Die Benutzerschnittstelle des Fahrzeugs und/oder das Rückmeldesystem können die Bewertung nutzen und dem Fahrer eine Rückmeldung geben, z. B. in Form von akustischen Signaltönen, Anzeigen und haptischen Rückmeldungen, wenn eine potenzielle Gefahr erkannt wird. Beispiele hierfür sind u. a. eine Leitfarbe, die eine mögliche Kollision zwischen den Hinterrädern und dem Bordstein auf der Grundlage des Abstands der Räder zum Bordstein sowie der Zeit bis zur Kollision der Räder mit dem Bordstein anzeigt.
4 zeigt eine beispielhafte Benutzerschnittstellenanzeige, die dem Fahrer eine Rückmeldung über das System zur Erkennung von Gefahren auf dem Anhängerweg gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung gibt. Das erste Bild 400 zeigt eine Seitenansicht des Schleppfahrzeugs, in der das Schleppfahrzeug beginnt, während eines Schleppbetriebs eine Rechtskurve auszuführen. Der erkannte Bordstein wird vom System hervorgehoben, indem ein erster Indikator 405 über dem erkannten Bordstein eingeblendet wird. Eine Anhängerführungslinie 410 wird ebenfalls auf dem Bild der Benutzerschnittstelle eingeblendet, um dem Fahrer den voraussichtlichen Anhängerradweg anzuzeigen. Der erste Indikator 405 und die Anhängerführungslinie 410 können in verschiedenen Farben auf dem Bild der Benutzerschnittstelle dargestellt werden. In einigen beispielhaften Ausführungsformen kann die Farbe der Anhängerführungslinie bei fortschreitendem Abbiegevorgang und bei Annäherung des projizierten Anhängerradwegs an die Bordsteinkante wechseln, um dem Fahrzeugführer das erhöhte Risiko eines Zusammenstoßes mit der Bordsteinkante anzuzeigen.
Das zweite Bild 430 zeigt eine Kurve an, in der der projizierte Anhängerradweg kurz vor dem Kontakt mit dem Bordstein steht. In einigen beispielhaften Ausführungsformen werden der Bordsteinindikator 415 und die Anhängerführungslinie 420 auf der Benutzerschnittstelle nahezu überlappend dargestellt. In einigen Ausführungsbeispielen kann die Farbe der Anhängerführungslinie wiederum die Farbe wechseln, um den Fahrzeugbetrieb auf die bevorstehende Kollision mit dem Bordstein hinzuweisen. Darüber hinaus können zusätzliche Warnungen für den Fahrzeugbetrieb bereitgestellt werden, wie z. B. ein haptisches Warnsignal, ein akustisches Warnsignal, blinkende Leuchtdioden o. ä., die auf die bevorstehende Kollision mit dem Bordstein hinweisen.
In 5 ist ein Blockdiagramm eines Anhängerweg-Gefahrerkennungssystems 500 gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung dargestellt. Das beispielhafte System kann eine Kamera 510, einen Abstandssensor 515, einen Prozessor 520, einen Positionssensor 525, einen Speicher 535 und eine Benutzerschnittstelle 530 umfassen.
Die Kamera 510 kann so konfiguriert sein, dass sie ein Bild eines Sichtfeldes aufnimmt, das ein Objekt enthält. In einigen beispielhaften Ausführungsformen ist das Objekt ein Bordstein. Bei dem Hindernis kann es sich um ein anderes Hindernis handeln, wie z. B. ein Verkehrsschild, einen Sicherheitspoller, einen Lichtmast, einen Versorgungsmast oder ähnliches, das sich in der Nähe eines Fahrbahnrandes befindet. In einigen beispielhaften Ausführungsformen kann die Kamera eine Stereokamera zur Aufnahme mehrerer Stereobilder sein, wobei die Objektposition in Abhängigkeit von den mehreren Stereobildern bestimmt wird. Das Bild kann als Reaktion auf eine Aktivierung des Anhängersystems und eine Erkennung einer Bewegung des Schleppfahrzeugs aufgenommen werden.
Der Abstandssensor 515 ist so konfiguriert, dass er den Abstand zum Objekt bestimmt. Der Abstandssensor 515 kann ein seitlich ausgerichtetes Sichtfeld haben und den Abstand zum Objekt zu einem anderen Zeitpunkt bestimmen, als wenn das Bild des Objekts mit der Kamera aufgenommen wurde. Diese Erfassungen zu unterschiedlichen Zeitpunkten können mit den Standorten des Schleppfahrzeugs zu den unterschiedlichen Zeitpunkten korreliert werden, um den Standort des Objekts zu bestätigen und als Reaktion auf den Standort des Objekts Kartendaten zu erzeugen. In einigen beispielhaften Ausführungsformen kann der Abstandssensor 515 ein Seitensicht-Ultraschallsensor sein.
Der Ortungssensor 525 ist so konfiguriert, dass er die Schleppfahrzeugposition bestimmt. Der Ortungssensor 525 kann ein globaler Positionierungssensor sein und kann die Fahrzeugposition als Reaktion auf Daten bestimmen, die von einer Vielzahl von Satelliten übertragen werden. Alternativ kann der Ortungssensor auch Fahrzeug-zu-Infrastruktur (V2I) -Signale von der lokalen Infrastruktur verwenden, um die Schleppfahrzeugposition zu bestimmen.
Der Prozessor 520 ist so konfiguriert, dass er als Reaktion auf das Bild und die Position des Schleppfahrzeugs eine Objektposition erkennt. Der Prozessor 520 kann Bildverarbeitungstechniken wie z. B. Kantenerkennung verwenden, um das Objekt im Bild zu erkennen. Der Prozessor 520 kann ferner in Abhängigkeit von einem oder mehreren Bildern und der Position des Schleppfahrzeugs einen Abstand zum Objekt schätzen.
Der Prozessor 520 kann ferner in der Lage sein, einen Schleppfahrzeugweg als Reaktion auf den Schleppfahrzeuglenkwinkel und die Schleppfahrzeugposition vorherzusagen. Der Schleppfahrzeugweg kann in den im Speicher 535 gespeicherten Kartendaten lokalisiert und zu den Kartendaten hinzugefügt werden. Der Prozessor 520 kann dann einen Anhängerradweg als Reaktion auf den Schleppfahrzeugweg und eine Anhängerabmessung vorhersagen. In einigen Ausführungsformen ist die Anhängerabmessung ein Abstand von einem Anhängerrad zu einem Anhängerkupplungspunkt. Alternativ kann die Anhängerabmessung eine Vielzahl von Abmessungen umfassen, wie z. B. die Breite der Anhängerspur, den Abstand vom Kupplungspunkt zur Anhängerachse, die Anhängerbreite, die Anhängerhöhe, die Anhängerlänge, die Länge des Kupplungsmechanismus und den Kupplungsauslenkwinkel. Der Prozessor kann ferner so konfiguriert sein, dass er als Reaktion auf einen Schnittpunkt zwischen der Objektposition und dem Anhängerradweg ein Warnkontrollsignal erzeugt.
Die Benutzerschnittstelle 530 kann so konfiguriert sein, dass sie als Reaktion auf das Warnkontrollsignal eine Warnung anzeigt. Bei der Benutzerschnittstelle 530 kann es sich um eine Warnleuchte, einen Lautsprecher zum Abspielen eines akustischen Alarms oder eine haptische Vorrichtung handeln. Bei der Benutzerschnittstelle kann es sich um eine Anzeige in der Fahrzeugkabine handeln, auf dem ein oder mehrere Bilder angezeigt werden, die den Bordstein enthalten, um eine Markierung auf dem Bordstein zu überlagern und um einen Hinweis auf den Anhängerradweg anzuzeigen.
Das beispielhafte System kann ferner einen Speicher 535 zum Speichern von Kartendaten umfassen, und wobei der Prozessor ferner dazu dient, die Kartendaten als Reaktion auf die Objektposition und die Schleppfahrzeugposition zu ändern, und wobei der Anhängerradweg als Reaktion auf die Kartendaten bestimmt wird.
In einigen beispielhaften Ausführungsformen kann das Anhängerweg-Gefahrerkennungssystem 500 eine Anhängerschnittstelle zum Erkennen einer Verbindung zu einem Anhänger, eine Vorwärtssichtkamera zum Aufnehmen eines ersten Bildes, das einen Bordstein enthält, eine Seitensichtkamera zum Aufnehmen eines zweiten Bildes, das den Bordstein enthält, einen Prozessor zum Bestimmen einer Bordsteinposition als Reaktion auf das erste Bild, das zweite Bild und eine Schleppfahrzeugposition umfassen, Vorhersagen eines Schleppfahrzeugwegs in Abhängigkeit von einem Schleppfahrzeuglenkwinkel und der Schleppfahrzeugposition, Vorhersagen eines Anhängerradwegs in Abhängigkeit von dem Schleppfahrzeugweg und einer Anhängerabmessung und Erzeugen eines Warnkontrollsignals in Abhängigkeit von einem Schnittpunkt der Hindernisposition und des Anhängerradweges, und eine Anzeige zum Anzeigen des zweiten Bildes und zum Überlagern eines ersten Indikators der Bordsteinposition und eines zweiten Indikators des Anhängerradweges über das zweite Bild. Das Anhängerweg-Gefahrerkennungssystem 500 kann ferner einen Lautsprecher zur Erzeugung eines akustischen Alarms als Reaktion auf das Warnkontrollsignal umfassen.
In 6 ist ein Flussdiagramm dargestellt, das ein beispielhaftes Verfahren 600 zur Implementierung eines Anhängerweg-Gefahrerkennungssystems gemäß einer beispielhaften Ausführungsform der vorliegenden Offenbarung zeigt. Das beispielhafte Verfahren kann von einem Prozessor in einem Schleppfahrzeug durchgeführt werden. Der Prozessor kann kommunikativ mit Sensoren, Steuerungen und Schnittstellen innerhalb des Schleppfahrzeugs verbunden sein. Der Prozessor kann ferner kommunikativ mit einer Benutzerschnittstelle gekoppelt sein, wie z. B. einer Fahrzeugkabinenanzeige, einem Fahrzeuginfotainmentsystem oder einer auf einem Smartphone oder dergleichen laufenden Anwendung.
Das beispielhafte Verfahren kann 610 eine Hindernisposition als Reaktion auf ein Bild erkennen, wobei das Bild von einer am Schleppfahrzeug montierten Kamera aufgenommen wird. Die Kamera kann ein vorderes Sichtfeld vom Schleppfahrzeug aus haben. In einigen beispielhaften Ausführungsformen kann die Hindernisposition als Reaktion auf eine Tiefenmessung von einem am Schleppfahrzeug montierten Seitensichtsensor bestätigt werden. Die Hindernisposition kann als Reaktion auf eine Tiefenmessung eines am Schleppfahrzeug angebrachten Ultraschallsensors bestätigt werden. Das Bild kann als Reaktion auf eine Aktivierung des Anhängersystems und eine Erkennung einer Bewegung des Schleppfahrzeugs aufgenommen werden.
Das Verfahren kann 620 einen Schleppfahrzeugweg als Reaktion auf einen Schleppfahrzeuglenkwinkel und eine Schleppfahrzeugposition vorhersagen. Darüber hinaus kann der Schleppfahrzeugweg als Reaktion auf Fahrzeugtelemetriedaten, Kartendaten und Daten von Ortungssensoren vorhergesagt werden. Beispielsweise kann der Schleppfahrzeugweg in Abhängigkeit von einer Beschleunigung vorhergesagt werden, die von einer am Schleppfahrzeug angebrachten Trägheitsmesseinheit erfasst wird. In einigen Ausführungsformen kann der Schleppfahrzeugweg als Reaktion auf eine Verschiebung vorhergesagt werden, die von einem am Schleppfahrzeug angebrachten Radkodierer erfasst wird.
Das Verfahren kann als Nächstes einen Anhängerradweg vorhersagen, der sich aus dem Schleppfahrzeugweg und den Abmessungen des Fahrzeugs und des Anhängers ergibt. Die Fahrzeugabmessung kann der Abstand zwischen der Hinterachse des Fahrzeugs und dem Anhängerkupplungspunkt sein. Die Abmessung des Anhängers kann der Abstand von der Radachse des Anhängers zum Kupplungspunkt des Anhängers und die Spurweite des Anhängers sein. Der Anhängerradweg kann in Abhängigkeit vom Kupplungsauslenkwinkel vorhergesagt werden.
Das Verfahren kann dann den vorhergesagten Anhängerradweg und die Hindernisposition vergleichen, um festzustellen, ob ein Kontaktereignis auftreten kann. Ein Kontaktereignis kann auftreten, wenn es einen vorhergesagten Schnittpunkt zwischen der Hindernisposition und dem Anhängerradweg gibt. Das Verfahren kann als Reaktion auf das vorhergesagte Kontaktereignis ein Warnkontrollsignal erzeugen. In einigen beispielhaften Ausführungsformen kann das Verfahren dazu dienen, einen Indikator für die Hindernisposition und einen Indikator für den Anhängerradweg auf einer Fahrzeugkabinenanzeige anzuzeigen 650. Die Farbe der Anzeige des Anhängerradwegs kann sich in Abhängigkeit vom aktuellen Abstand zwischen dem Rad des Anhängers und dem Hindernis ändern. Das Verfahren kann ferner dazu dienen, Kartendaten in Abhängigkeit von der Hindernisposition und der Schleppfahrzeugposition zu ändern 660, wobei der Anhängerradweg in Abhängigkeit von den Kartendaten bestimmt wird.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine Vielzahl von Varianten gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann einen praktischen Leitfaden für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen an die Hand geben. Es sei verstanden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Äquivalenten dargelegt ist, verlassen wird.

Claims

Verfahren, umfassend: Erkennen einer Hindernisposition als Reaktion auf ein Bild; Vorhersagen eines Schleppfahrzeugweges als Reaktion auf einen Schleppfahrzeuglenkwinkel und eine Schleppfahrzeugposition; Vorhersagen eines Anhängerradweges durch einen Prozessor als Reaktion auf den Schleppfahrzeugweg und eine Anhängerabmessung; und Erzeugen eines Warnkontrollsignals als Reaktion auf einen Schnittpunkt zwischen der Hindernisposition und dem Anhängerradweg.
Verfahren nach Anspruch 1, ferner umfassend das Anzeigen eines Indikators für die Hindernisposition und eines Indikators für den Anhängerradweg auf einer Fahrzeugkabinenanzeige umfasst.
Verfahren nach Anspruch 1, wobei das Bild von einer am Schleppfahrzeug montierten Kamera aufgenommen wird, die ein vom Schleppfahrzeug aus nach vorne gerichtetes Sichtfeld hat.
Verfahren nach Anspruch 1, wobei die Hindernisposition als Reaktion auf eine Tiefenmessung eines am Schleppfahrzeug angebrachten Seitensichtsensors bestätigt wird.
Verfahren nach Anspruch 1, wobei die Hindernisposition als Reaktion auf eine Tiefenmessung eines am Schleppfahrzeug angebrachten Ultraschallsensors bestätigt wird.
Verfahren nach Anspruch 1, wobei der Anhängerradweg als Reaktion auf einen Anhängerkupplungsauslenkwinkel vorhergesagt wird.
Verfahren nach Anspruch 1, wobei der Schleppfahrzeugpfad als Reaktion auf eine Beschleunigung vorhergesagt wird, die von einer an einem Schleppfahrzeug angebrachten Trägheitsmesseinheit erfasst wird.
Verfahren nach Anspruch 1, wobei das Bild als Reaktion auf eine Anhängersystemaktivierung und eine Erkennung einer Bewegung eines Schleppfahrzeugs aufgenommen wird.
Verfahren nach Anspruch 1, ferner umfassend das Ändern von Kartendaten als Reaktion auf die Hindernisposition und die Schleppfahrzeugposition, wobei der Anhängerradweg als Reaktion auf die Kartendaten bestimmt wird.
Vorrichtung, umfassend: eine Kamera, die so konfiguriert ist, dass sie ein Bild eines Sichtfeldes, das ein Objekt enthält, aufnimmt; einen Abstandssensor, der so konfiguriert ist, dass er einen Abstand zum Objekt bestimmt; einen Ortungssensor, der so konfiguriert ist, dass er eine Schleppfahrzeugposition bestimmt; einen Prozessor, der so konfiguriert ist, dass er als Reaktion auf das Bild und die Schleppfahrzeugposition eine Objektposition bestimmt, als Reaktion auf einen Schleppfahrzeuglenkwinkel und die Schleppfahrzeugposition einen Schleppfahrzeugweg vorhersagt, als Reaktion auf den Schleppfahrzeugweg und eine Anhängerabmessung einen Anhängerradweg vorhersagt, und ein Warnkontrollsignal als Reaktion auf einen Schnittpunkt zwischen der Objektposition und dem Anhängerradweg erzeugt; und eine Benutzerschnittstelle, die so konfiguriert ist, dass sie als Reaktion auf das Warnkontrollsignal eine Warnung anzeigt.