-
Die
Erfindung betrifft ein Verfahren zur Unterstützung eines
Fahrers eines Fahrzeuges beim Betrieb des Fahrzeuges gemäß dem
Oberbegriff des Anspruchs 1.
-
Um
den Fahrer eines Fahrzeuges beim Rangieren, insbesondere beim Einparken,
zu unterstützen, sind Systeme und Verfahren bekannt, bei
denen Bilder einer Umgebung des Fahrzeuges erfasst und dem Fahrer
angezeigt werden.
-
Aus
DE 10 2005 051 804
B4 ist ein Verfahren zur Fahrerunterstützung beim
Rangieren eines Fahrzeuges oder Fahrzeuggespanns bekannt, bei welchem
dieses Gefährt aus mehreren gegeneinander knickbaren Fahrzeugelementen
besteht. Dabei werden mit wenigstens einer Kamera Bilddaten von
der rückwärtigen Umgebung des Gefährts
erfasst. Diese Bilddaten werden gemeinsam mit Daten über
den Lenkwinkel wenigstens einer lenkbaren Achse des Gefährts
sowie über den Knickwinkel wenigstens zwischen zwei Fahrzeugelementen
einem Prozessormodul zugeführt, welches anhand der Daten
in Kenntnis wenigstens der Geometrie des Gefährts dessen
künftigen Fahrverlauf im Umfang dessen Fahrspur und/oder
dessen Schleppspur prognostiziert. Dabei wird ein Abbild der Fahrspur
und/oder der Schleppspur perspektivisch richtig, symbolisch den durch
die Kamera aufgenommenen Bilddaten überlagert und die so
bearbeiteten Bilddaten werden auf einer Anzeige dem Fahrer des Gefährts
angezeigt. Die Anzeige von Fahrspur und/oder Schleppspur erfolgt begrenzt
auf einen Entfernungsbereich, innerhalb dessen eine Prädiktion
des künftigen Fahrverlaufs noch innerhalb einer bestimmten
Streuungsbandbreite liegt.
-
Der
Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren
zur Unterstützung eines Fahrers eines Fahrzeuges beim Betrieb
des Fahrzeuges anzugeben, bei dem dem Fahrer eine zukünftige
Fahrspur des Fahrzeuges in einer Umgebung des Fahrzeuges angezeigt
wird.
-
Die
Aufgabe wird erfindungsgemäß durch ein Verfahren
mit den in Anspruch 1 angegebenen Merkmalen gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem erfindungsgemäßen Verfahren zur Unterstützung
eines Fahrers eines Fahrzeuges beim Betrieb des Fahrzeuges werden
mit wenigstens einer Kamera Bilddaten von einer Umgebung des Fahrzeuges
erfasst. Mittels eines Steuergerätes wird aus einem Lenkradwinkel,
Lenkwinkel und/oder aus Fahrzeugdaten ein künftiger Fahrschlauch
des Fahrzeuges ermittelt. Aus den Bilddaten und dem ermittelten
künftigen Fahrschlauch wird eine Abbildung der Umgebung
des Fahrzeuges mit einer überlagerten Darstellung des ermittelten
Fahrschlauches erzeugt und dem Fahrer angezeigt. Dazu sind oder werden
Referenzkreisdaten eines Referenzkreises in einem Steuergerät
oder in einem Speicher des Steuergerätes hinterlegt. Die
Darstellung des künftigen Fahrschlauches wird mittels der
hinterlegten Referenzkreisdaten in Abhängigkeit von dem
Lenkradwinkel, Lenkwinkel und/oder den Fahrzeugdaten sowie der Position
und Ausrichtung der wenigstens einen Kamera erzeugt.
-
Unter
einem Fahrschlauch wird hier ein virtueller Bereich verstanden,
auf dem sich das Fahrzeug fortbewegt und welcher im Wesentlichen
die Breite des Fahrzeuges aufweist.
-
Die
in einem Steuergerät des Fahrzeugs oder in einem Speicher
des Steuergerätes hinterlegten bzw. vorab bereitgestellten
Referenzkreisdaten des Referenzkreises werden im Zusammenhang mit der
Erzeugung der Darstellung des künftigen Fahrschlauches
verwendet. Diese Daten brauchen somit für die Darstellung
des Fahrschlauches nicht jedes Mal neu berechnet werden, sondern
lediglich in Abhängigkeit von dem Lenkradwinkel, Lenkwinkel und/oder
den Fahrzeugdaten sowie der Position und Ausrichtung der wenigstens
einen Kamera transformiert werden. Dadurch werden der Rechenaufwand und
die Rechenzeit zu einer Darstellung des Fahrschlauches in Echtzeit
vorteilhaft reduziert. Als Folge des reduzierten Rechenaufwands
sinken auch die Anforderungen an das Steuergerät, so dass
kostengünstigere Steuergeräte verwendet werden
können. Ferner kann die Qualität der Darstellung
erhöht werden, da die Referenzkreisdaten vorab mit rechenintensiven
Algorithmen, beispielsweise Antialiasing-Verfahren zur Kantenglättung,
erzeugt werden können.
-
Weitere
Vorteile, Merkmale und Ausgestaltungen der Erfindung werden im Folgenden
anhand von Ausführungsbeispielen unter Bezugnahme auf Zeichnungen
beschrieben. Dabei zeigen:
-
1 eine
Draufsicht auf ein Fahrzeug mit einer rückwärtig
ausgerichteten Kamera und einen ermittelten künftigen Fahrschlauch
des Fahrzeuges, und
-
2 eine
Darstellung eines ermittelten Fahrschlauches.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
1 zeigt
eine Draufsicht auf ein rückwärts fahrendes Fahrzeug 1 mit
einer rückwärtig ausgerichteten Kamera 2 und
einen ermittelten künftigen Fahrschlauch 3 des
Fahrzeuges 1.
-
Die
Kamera 2 ist beispielsweise an einer Heckklappe des Fahrzeuges 1 angeordnet.
Mit der Kamera 2 werden Bilddaten von einer rückwärtigen Umgebung
des Fahrzeuges 1 erfasst.
-
Der
künftige Fahrschlauch 3 ist streifenförmig
und wird durch eine erste Begrenzungskurve 4.1 und eine
zweite Begrenzungskurve 4.2 begrenzt, die voneinander einen
Abstand von einer Breite des Fahrzeuges 1 aufweisen. Die
Begrenzungskurven 4.1, 4.2 sind jeweils Kreisbogenstücke
von Kreisen, deren Radien von einem momentanen Lenkwinkel des Fahrzeuges 1 und
Abmessungen des Fahrzeuges 1 abhängen und die
einen gemeinsamen Kreismittelpunkt 6 haben. Diese Kreise
werden im Folgenden als Begrenzungskurvenkreise bezeichnet.
-
Die
Radien und der Kreismittelpunkt 6 der Begrenzungskurvenkreise
werden mittels eines Steuergerätes im Fahrzeug 1 aus
einem Lenkradwinkel, Lenkwinkel und/oder aus Fahrzeugdaten des Fahrzeuges 1 ermittelt.
Die Fahrzeugdaten umfassen dabei Daten, mittels derer sich die Radien
der Begrenzungskurvenkreise aus dem Lenkwinkel und/oder Lenkradwinkel
bestimmen lässt, insbesondere die Breite des Fahrzeuges 1 sowie
beispielsweise den Abstand einer Vorderachse von einer Hinterachse
des Fahrzeuges 1.
-
Die
Fahrzeugdaten, z. B. Fahrzeuglänge, -breite und Radstand,
werden als fahrzeugspezifisch anpassbare Parameter mittels des Steuergerätes
gespeichert. Dies hat den Vorteil, dass das Verfahren leicht an
das Fahrzeug 1 angepasst werden kann. Ferner brauchen bei
für die Ermittelung der Radien der Begrenzungskurvenkreise
relevanten Veränderungen am Fahrzeug 1 nur die
entsprechenden Parameter angepasst werden.
-
Aus
den von der Kamera 2 erfassten Bilddaten und dem ermittelten
Fahrschlauch 3 wird von dem Steuergerät eine Abbildung
der rückwärtigen Umgebung des Fahrzeuges mit einer
Darstellung des ermittelten Fahrschlauches erzeugt. Diese Abbildung
wird dem Fahrer auf einer Anzeigeeinheit angezeigt, beispielsweise
auf einem auf dem Armaturenbrett angeordneten Bildschirm oder auf
einem Head-Up-Display, um den Fahrer beim Betrieb des Fahrzeuges 1,
insbesondere beim Rangieren, zu unterstützen.
-
Der
Fahrschlauch 3 wird dabei mittels eines Overlays dargestellt,
das den von der Kamera 2 erfassten Bilddaten überlagert
wird und mittels einer Software für das Steuergerät
erzeugt wird.
-
2 zeigt
eine derartige Darstellung eines ermittelten Fahrschlauches 3 aus
der Perspektive der Kamera 2.
-
Zur
Erzeugung der Darstellung des Fahrschlauches 3 werden in
dem Steuergerät oder einem Speicher des Steuergerätes
vorab Referenzkreisdaten eines Referenzkreises, vorzugsweise eines
Einheitskreises, hinterlegt, aus denen in unten näher beschriebener
Weise schrittweise das Overlay erzeugt wird. Bei den Referenzkreisdaten
des Referenzkreises kann es sich beispielsweise auch um den Radius des
Wendekreises des Fahrzeugs handeln.
-
Dabei
kann der Referenzkreis auf verschiedene bekannte Weisen durch Referenzkreisdaten beschrieben
werden, beispielsweise als ein Polygonzug oder als eine Bezierkurve
oder als ein Spline, insbesondere als ein so genannter rationaler
B-Spline. Auf welche Weise der Referenzkreis beschrieben wird, wird
in Abhängigkeit von dem Steuergerät, insbesondere
von dessen Rechenleistung, ausgewählt. Bei Verwendung eines
Steuergerätes mit einem Microcontroller mit geringer Rechenleistung
wird beispielsweise bevorzugt eine stückweise lineare Approximation
des Referenzkreises verwendet, da diese einen verhältnismäßig
geringen Rechenaufwand erfordert.
-
Die
Referenzkreisdaten umfassen eine feste Anzahl von Stützstellen
des Referenzkreises, je nach gewählter Darstellung beispielsweise
Polygonpunkte, Bezierpunkte oder Splineknoten. Zur Parametrisierung
der Stützstellen kann eine Fixpunktarithmetik verwendet
werden.
-
Die
Begrenzungskurven 4.1, 4.2 des Fahrschlauches 3 werden
jeweils mittels einer Skalierung und anschließenden Verschiebung
des Referenzkreises erzeugt. Dabei ist der jeweilige Skalierungsfaktor das
Verhältnis der Radien des jeweiligen Begrenzungskurvenkreises
und des Referenzkreises und der Mittelpunkt des skalierten Referenzkreises
wird in den Kreismittelpunkt 6 der Begrenzungskurvenkreise
verschoben. Dadurch werden durch Skalierung und Verschiebung aus
den Stützstellen des Referenzkreises Stützstellen 5 der
Begrenzungskurven 4.1, 4.2 gebildet.
-
Die
Begrenzungskurven 4.1, 4.2 des Fahrschlauches 3 werden
in Abhängigkeit von der Position und Ausrichtung der wenigstens
einen Kamera perspektivisch transformiert. Dazu wird vorab aus der Position
und Ausrichtung der wenigstens einen Kamera eine perspektivische
Transformationsmatrix mittels einer Rechnereinheit bzw. dem Steuergerät erzeugt
und im Steuergerät oder einem Speicher des Steuergeräts
hinterlegt, mit der die Stützstellen 5 der Begrenzungskurven 4.1, 4.2 transformiert
werden. Dabei kann wie für die Stützstellen eine
Fixpunktarithmetik verwendet werden.
-
Durch
die perspektivische Transformation werden Bildkoordinaten der Stützstellen 5 der
Begrenzungskurven 4.1, 4.2 erzeugt, aus denen
das Overlay zur Darstellung des Fahrschlauches 3 gebildet
wird. Dazu werden aus den Bildkoordinaten stückweise die
Begrenzungskurven 4.1, 4.2 gebildet, wobei die
Darstellung bei einer Verwendung von Bezierkurven oder Splines gegebenenfalls
weiter verfeinert wird. Abschließend werden die Begrenzungskurven 4.1, 4.2 gerastert
und als Overlay den von der Kamera 2 erfassten Bilddaten überlagert.
Zur Rasterung können bekannte Rasterungsalgorithmen verwendet
werden, die beispielsweise eine Ganzzahlarithmetrik verwenden.
-
Zur
präzisen perspektivischen Transformation ist eine genaue
Kenntnis der Position und Ausrichtung der Kamera 2 erforderlich.
Ebenso wie die Fahrzeugdaten werden auch die Position und Ausrichtung der
Kamera 2 als anpassbare Parameter mittels des Steuergerätes
gespeichert. Dies hat den Vorteil, dass das Verfahren leicht an
eine Änderung der Position und/oder Ausrichtung der Kamera 2 angepasst
werden kann und dass Einbautoleranzen der Kamera 2 durch
eine Kalibrierung der Kamera 2 ausgeglichen werden können.
Bei der Änderung der Position und/oder Ausrichtung der
Kamera 2 kann es sich auch um die Änderung eines
virtuellen Betrachtungspunkt (virtual viewpoint) der Kamera 2 handeln.
Eine Anpassung des virtuellen Betrachtungspunkt wird häufig
im Zusammenhang mit Omnidirektionalen oder sog. katadioptrischen
Kameras vorgenommen, um damit unterschiedliche Ansichten (perspektivisch oder
panoramisch) zu realisieren.
-
Eine
derartige Kalibrierung kann mit gängigen Verfahren zur
Objekterfassung (so genanntes Target-Matching) und Rückberechnung
der korrigierten Position und/oder Ausrichtung der Kamera 2 durchgeführt
werden.
-
Beispielsweise
kann die Kalibrierung auf einem Kalibrierprüfstand folgendermaßen
durchgeführt werden. Zunächst werden Zielobjekte
von der Kamera 2 erfasst und erforderlichenfalls das von
der Kamera 2 erfasste Bild der Zielobjekte mittels des Steuergerätes
gespeichert. Dann werden aus den bekannten Positionen der Zielobjekte
die Position und Ausrichtung der Kamera 2 berechnet und
mittels des Steuergerätes gespeichert bzw. bereits gespeicherte
Parameter gegebenenfalls korrigiert.
-
In
einer Ausgestaltung des Verfahrens wird der Fahrschlauch mit geraden
Abstandlinien 7 versehen, die die Begrenzungskurven 4.1, 4.2 verbinden und
in jeweils gleichen Abständen aufeinander folgen. Dadurch
kann dem Fahrer vorteilhaft eine Länge des Fahrschlauches 3 und/oder
ein Abstand zu einem Objekt in der dargestellten Umgebung des Fahrzeuges 1 vermittelt
werden. Dazu wird die Darstellung der Abstandslinien 7 wie
die des Referenzkreises in der Software hinterlegt und in das Overlay
eingearbeitet.
-
In
einer weiteren Ausgestaltung des Verfahrens wird die Abbildung der
Umgebung des Fahrzeuges 1 mit der Darstellung des ermittelten
Fahrschlauches 3 aus einer vorgebbaren Perspektive dargestellt,
die von der Perspektive der Kamera 2 abweichen und beispielsweise
eine Vogelperspektive oder eine Perspektive des Fahrers des Fahrzeuges 1 sein kann.
Dazu werden die von der Kamera 2 erfassten Bilddaten auf
die entsprechende Perspektive umgerechnet und der Fahrschlauch 3 wird
aus dieser Perspektive dargestellt. Die Darstellung des Fahrschlauches 3 erfolgt
dabei mit dem oben beschriebenen Verfahren, wobei die perspektivische
Transformation auf diese Perspektive statt auf die tatsächliche
Perspektive der Kamera 2 bezogen wird.
-
- 1
- Fahrzeug
- 2
- Kamera
- 3
- Fahrschlauch
- 4.1
- erste
Begrenzungskurve
- 4.2
- zweite
Begrenzungskurve
- 5
- Stützstelle
einer Begrenzungskurve
- 6
- Kreismittelpunkt
- 7
- Abstandslinie
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102005051804
B4 [0003]