-
Die vorliegende Erfindung betrifft ein Kamerasystem, insbesondere ein Surroundview-Kamerasystem zur Umfelderfassung für ein Fahrzeug, sowie ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem, für ein Fahrzeug mit Zusatzfahrzeug (Trailer bzw. Anhänger), wobei als Kamerasystem ein erfindungsgemäßes Kamerasystem vorgesehen ist.
-
Technologischer Hintergrund
-
Moderne Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme umfassen neben Radarsensoren, Lidarsensoren, Ultraschallsensoren und/oder Kamerasensoren insbesondere auch Surroundview-Kamerasysteme, die es erlauben, dem Fahrer des Fahrzeugs die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Kamerasysteme umfassen in der Regel eine Steuereinrichtung und mehrere Kameras, welche reale Bilder der Fahrzeugumgebung liefern, die insbesondere durch eine Datenverarbeitungseinheit des Surroundview-Kamerasystems zu einem Umgebungsbild der Fahrzeugumgebung zusam-mengefügt werden. Das Bild der Fahrzeugumgebung wird dann dem Fahrer auf einer Anzeigeeinheit (wie z. B. dem Display des Navigationssystems) angezeigt. Auf diese Weise kann der Fahrer bei einem Fahrzeugmanöver unterstützt werden, beispielsweise bei einem Rückwärtsfahren des Fahrzeuges oder bei einem Parkmanöver. Ferner handelt es sich bei den Surroundview-Kameras in der Regel um „Fischaugenkameras“ (Fisheye camera), d. h. eine Kamera mit Fischaugenobjektiv, die ein Fischaugenbild (Fisheye image) liefern. Die unverzerrten Fischaugenbilder werden dann verwendet, um dem Fahrer verschiedene Ansichten der Umgebung darzustellen, wie z. B. Vorderansicht, Rückansicht, Bordsteinansicht und der-gleichen.
-
Ferner können die Bilder auch zu einer 360°-Panorama-Ansicht zusammengefügt werden, sodass der Fahrer den geeigneten Blickpunkt auswählen kann, indem er sich innerhalb einer Szene einer virtuellen Kamera bewegen kann. Hierbei gibt es verschiedene Funktionen bzw. Ansichten wie „Bowl“ oder „Top-View“ („Vogelperspektive“ oder „Draufsicht“), bei denen Bilder bzw. Texturen aus den Surroundview-Kameras zu einer Gesamtansicht (oder Gesamt-textur) zusammengefügt bzw. nahtlos aneinandergereiht werden (Stitching). Die Bilder bzw. Texturen der Surroundview-Kameras weisen dabei in der Regel überlappende Regionen bzw. Überlappungsbereiche auf. Insbesondere in der Bowl-Ansicht, in der die Texturen aus den Kameras projiziert werden, um eine virtuelle 3D-Bowl zu visualisieren, welche die gesamte Fläche um das Auto herum darstellt. Moderne Surroundview-Kamerasysteme können die dadurch erzeugten Ansichten dann dem Fahrer anzeigen, z. B. an einem Display, einem Cockpit oder einem Navigationssystem.
-
Gattungsgemäße Surroundview Systeme können heutzutage um meistens bis zu vier Zusatz- oder Trailer-Kameras auf der Außenseite eines Zusatzfahrzeuges, insbesondere Anhängers (Trailer), erweitert werden, wenn das Fahrzeug zusammen mit dem Anhänger betrieben wer-den soll. Beispielsweise eine Trailer-Kamera auf der Vorderseite, eine Trailer-Kamera auf der Rückseite und jeweils eine Trailer-Kamera auf jeder Seite des Anhängers. Durch die erhöhte Bildauflösung kann dies bei der Übertragung der Daten an das Auto eine beachtliche Größe erreichen. Darüber hinaus hat die unterstützte Länge des Kabels für den Anschluss der Trailer-Kameras an die Steuereinrichtung im Fahrzeug einige Einschränkungen. Eine mögliche Lösung ist daher, ein separates Steuergerät in den Anhänger zu integrieren, dass die Kameradaten von den Trailer-Kameras sammelt und sie an das die Steuereinrichtung im Fahrzeug weiterleitet. Dennoch ist die Bandbreite zwischen dem Steuergerät des Anhängers und der Steuereinrichtung des Fahrzeugs in der Regel nicht ausreichend, um z. B. vier Bildströme zu durchqueren.
-
Druckschriftlicher Stand der Technik
-
Aus der
DE 10 2016 224 904 A1 ist ein dreidimensionales Rundumsichtsystem für ein Gespann aus einem Fahrzeug und einem Anhänger bekannt, wobei der Anhänger mittels einer geraden Zugstange um eine Hochachse des Fahrzeugs gelenkig an dem Fahrzeug befestigt ist. Das Rundumsichtsystem umfasst mehrere Kameras des Fahrzeugs, mehrere Kameras des Anhängers, eine Bildverarbeitungseinheit und eine optische Ausgabeeinheit. Die Bildverarbeitungseinheit ist dazu eingerichtet, aus einem von einer der Kameras des Fahrzeugs auf-genommenen Bild einen ersten Drehwinkel zu bestimmen, um welchen die Zugstange relativ zu dem Fahrzeug um dessen Hochachse relativ zu einer Vorausrichtung des Fahrzeugs verdreht ist. Basierend auf dem bestimmten ersten Drehwinkel der Zugstange wird ein durch den Anhänger verdeckter Bildbereich eines durch die Kameras des Fahrzeugs generierten Fahr-zeug-Rundumbilds durch einen korrespondierenden Bildbereich eines durch die Kameras des Anhängers generierten Anhänger Rundumbilds ersetzt. Auf diese Weise kann auf der Anzeigeeinheit ein dreidimensionales Rundumbild des gesamten Gespanns dargestellt werden.
-
Für die Erzeugung eines 3D-View in einem Surround View System werden in der Regel die vier Kameras des Autos verwendet und auf einer Schüssel-Darstellung („Bowl“) projiziert. Der tote Winkel der Kameras, also der Bereich unter dem Auto, wird abgedeckt und ein 3D-Automodell wird in die Szene gerendert. Für eine 3D-Ansicht inklusive Anhänger kann dieser Ansatz auf acht Kameras, einschließlich der vier Kameras des Anhängers, erweitert werden. Bei der Erstellung von 3D-Views werden alle notwendigen Kamerabilder für die Bildverarbeitung in den Cache geladen. Die Cache-Größe in eingebetteten Surround View Systemen ist im Allgemeinen nicht groß genug, um alle vier Kamerabilder gleichzeitig zu bearbeiten. Dies kann allerdings zu Cache-Fehlern und erhöhter Verarbeitungszeit führen.
-
Ferner ist aus der
US 2017 341 583 A1 ein Surroundview-System für ein Fahrzeug zum Ziehen von Anhängern bekannt, bei dem die Erzeugung des Surroundview-Bildes durch Zusammenfügen aller Kamerabilder von Fahrzeug und Anhänger in einem gemeinsamen Controller erfolgt.
-
Die
EP 3 318 469 A1 beschreibt ein Verfahren zum Erstellen eines Surroundview-Bildes für ein Fahrzeug mit Anhänger sowie die Überlagerung/Zusammenfügen beider in Abhängigkeit der Ausrichtung des Anhängers.
-
Die
US 9 860 445 B2 beschreibt ein Trailer-Assistenzsystem, wobei ein Zusammenfügen zweier in zwei separaten Steuergeräten (ECU - Electronic Control Unit) durch Stitching erzeugter Surroundview-Bilder zu einer gemeinsamen Surroundview-2D-Ansicht (Top View/Bird's Eye View) erfolgt.
-
Aufgabe der vorliegenden Erfindung
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein gattungsgemäßes (Surroundview-) Kamerasystem zur Verfügung zu stellen, durch das die Kommunikation zwischen dem Anhänger und dem Fahrzeug vereinfacht und in kostengünstiger Weise verbessert und die Fehlerwahrscheinlichkeit verringert wird.
-
Lösung der Aufgabe
-
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie des neben-geordneten Anspruchs gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
-
Das erfindungsgemäße Kamerasystem, insbesondere Surroundview-Kamerasystem für ein Fahrzeug umfasst eine Steuereinrichtung, mehrere im/am Fahrzeug angeordnete (Surround-view-) Kameras, ein Steuergerät das in/an einem Zusatzfahrzeug (insbesondere Trailer bzw. Anhänger) angeordnet ist, und mehrere Zusatz- oder Trailer-Kameras, die in/an dem Zusatz-fahrzeug angeordnet sind. Die Steuereinrichtung erzeugt dabei eine Ansicht anhand der Kameras am Fahrzeug bzw. der Streams/Bilder/Daten der Surroundview-Kameras, während das Steuergerät eine Ansicht anhand der Zusatz- oder Trailer-Kameras bzw. der Streams/Bilder/Daten der Trailer-Kameras erzeugt. Im Anschluss daran wird eine kombinierte Ansicht aus den Ansichten von Steuereinrichtung und Steuergerät erzeugt. Durch das erfindungsgemäße Verfahren werden die reduziert benötigte Bandbreite als auch die Anzahl der Bilder, die im Cache gleichzeitig benötigt werden, reduziert, wodurch die die Kommunikation zwischen dem Anhänger und dem Fahrzeug in besonderem Maße vereinfacht und verbessert wird. Anstelle von drei oder vier Kameraströmen muss für jeden Frame nur ein Bild vom An-hänger-Steuergerät auf die Steuereinrichtung des Fahrzeugs übertragen werden. Mit diesem Ansatz muss jedes Steuergerät nur vier Kameraströme zu einem bestimmten Zeitpunkt bearbeiten, was den Speicherverbrauch und die Chancen auf einen Cache-Fehler während der Verarbeitung verringert. Zudem kann das beschriebene Verfahren in besonders einfacher und kostengünstiger Weise umgesetzt und auch in bestehenden Systemen nachgerüstet werden.
-
Vorzugsweise ist als Ansicht eine 2D-Ansicht, insbesondere Top-View-Ansicht, oder eine 3D-Ansicht, insbesondere eine Bowl-View bzw. eine Bowl, vorgesehen. Alternativ kann jedoch auch eine andere 3D-Ansicht erzeugt werden, wobei die Steuereinrichtung und das Steuergerät auch unterschiedliche Ansichten erzeugen können, die später jedoch zu einem 3D-Ansicht-Typ kombiniert werden.
-
Zweckmäßigerweise kann die kombinierte Ansicht unter Berücksichtigung der Länge und/oder Breite des Fahrzeuggespanns, d. h. Fahrzeug und Anhänger, oder einem Teil des Fahrzeuggespanns erfolgen. Dadurch kann das gesamte Fahrzeuggespann in einfacher Wei-se in einer 2D-/3D-Darstellung im Fahrzeug visualisiert und dem Fahrer somit angezeigt wer-den.
-
Gemäß einer besonderen Ausgestaltung der Erfindung kann die kombinierte Ansicht auch unter Berücksichtigung des Winkels zwischen Fahrzeug und Trailer erfolgen. Die Ansicht kann dadurch noch genauer erzeugt werden.
-
Vorzugsweise stellt die kombinierte Ansicht eine Erweiterung der unter Berücksichtigung der 3D-Ansicht der Steuereinrichtung und/oder der Ansicht des Steuergerätes dar.
-
Ferner kann die Ansicht des Steuergerätes vom Steuergerät der Steuereinrichtung übermittelt wird und die Steuereinrichtung die kombinierte Ansicht erzeugt werden.
-
Zweckmäßigerweise kann das Steuergerät für die Erzeugung der Ansicht eine virtuelle Kamera heranzieht, deren Position im Wesentlichen der Position der zum Trailer gerichteten Kamera des Fahrzeuges, d. h. der nach hinten gerichteten Surroundview-Kamera bzw. Rückfahrkamera, entspricht.
-
Nebengeordnet beansprucht die vorliegende Erfindung auch ein Verfahren zum Erzeugen einer Ansicht mit einem Kamerasystem, für ein Fahrzeug mit Zusatzfahrzeug bzw. Anhänger/Trailer, wobei als Kamerasystem ein erfindungsgemäßes Kamerasystem vorgesehen ist.
-
Figurenliste
-
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
- 1 eine vereinfachte schematische Darstellung einer Ausgestaltung eines Fahrzeuges mit einem erfindungsgemäßen Surroundview-Kamerasystem;
- 2 eine stark vereinfachte schematische Darstellung des Fahrzeuges aus 1 mit Trailer;
- 3 eine vereinfachte schematische Darstellung einer Ausgestaltung einer Bowl, die mit dem erfindungsgemäßen Verfahren erzeugt wurde;
- 4 eine vereinfachte schematische Darstellung einer weiteren Ausgestaltung Bowl aus 3, die ausgedehnt wurde;
- 5 eine vereinfachte schematische Darstellung einer weiteren Ausgestaltung der Bowl aus 4, die um die Rückansicht der Trailer-Rückkamera erweitert wurde;
- 6 eine vereinfachte schematische Darstellung einer weiteren Ausgestaltung der Bowl aus 5, bei der die Modelle für Fahrzeug und Anhänger eingefügt wurden, sowie
- 7 stark vereinfachte schematische Darstellungen (a)-(c) unterschiedlicher Ausdehnungen einer Bowl in Abhängigkeit von der Länge und Orientierung des Anhängers.
-
Bezugsziffer 1 in 1 bezeichnet ein Fahrzeug mit einer Steuereinrichtung 2 (ECU, Electronic Control Unit oder ADCU, Assisted and Automated Driving Control Unit), welche auf verschiedene Aktoren (z. B. Lenkung, Motor, Bremse) des Fahrzeuges 1 zugreifen kann, um Steuervorgänge des Fahrzeuges 1 ausführen zu können. Ferner weist das Fahrzeug 1 zur Umfelderfassung mehrere Surroundview-Kameras bzw. Kameras 3a-3d, eine Kamera-sensor 4 (bzw. Frontkamera) und einen Lidarsensor 5 auf, die über die Steuereinrichtung 2 gesteuert werden. Ausdrücklich umfasst die vorliegende Erfindung jedoch auch Ausgestaltungen, bei denen keine gemeinsame Steuereinrichtung 2 vorgesehen ist, sondern einzelne Steuereinrichtungen bzw. Steuereinheiten zur Sensorsteuerung vorgesehen sind (z. B. eine separate Steuereinheit bzw. ein separates Steuergerät zur Steuerung der Kameras 3a-3d, zur entsprechenden Datenverarbeitung und zur Durchführung des erfindungsgemäßen Verfahrens). Darüber hinaus können auch weitere Sensoren, wie z. B. Radar- oder Ultraschallsensoren vorgesehen sein. Die Sensordaten können dann zur Umfeld- und Objekterkennung genutzt werden. Infolgedessen können verschiedene Assistenzfunktionen, wie z. B. Einparkassistenten, Notbremsassistent (EBA, Electronic Brake Assist), Abstandsfolgeregelung (ACC, Adaptive Cruise Control), Spurhalteregelung bzw. ein Spurhalteassistent (LKA, Lane Keep Assist) oder dergleichen, realisiert werden. In praktischer Weise kann die Ausführung der Assistenzfunktionen ebenfalls über die Steuereinrichtung 2 oder eine eigene Steuereinrichtung erfolgen.
-
Die Kameras 3a-3d sind dabei Teil eines Surroundview-Kamerasystems, welches vorzugs-weise durch die Steuereinrichtung 2 gesteuert wird (alternativ kann z. B. eine eigene Steuerung vorgesehen sein), das eine vollständige 360-Grad-Sicht rund um das gesamte Fahrzeug 1 bietet, indem die Sichtfelder der einzelnen Surroundview-Kameras, z. B. 120-Grad, zu einer Gesamtsicht bzw. Gesamtbild vereint werden. Durch die einfache Überwachung des toten Winkels besitzt dieses Kamerasystem zahlreiche Vorteile in vielen alltäglichen Situationen. Durch das Surroundview-Kamerasystem können dem Fahrer verschiedene Blickwinkel des Fahrzeuges 1 z. B. über eine Anzeigeeinheit (in 1 nicht gezeigt) dargestellt werden. In der Regel werden dabei 4 Surroundview-Kameras 3a-3d verwendet, die z. B. im Front- und Heckbereich sowie an den Seitenspiegeln angeordnet sind. Zudem können aber auch drei, sechs, acht, zehn oder mehr Surroundview-Kameras vorgesehen sein. Besonders hilfreich sind diese Kameraansichten bzw. Blickwinkeln beim Überprüfen des toten Winkels, beim Spurwechsel oder beim Einparken.
-
In 2 ist eine vereinfachte Ansicht des Fahrzeuges 1 dargestellt, bei dem über eine Anhängervorrichtung am Fahrzeug 1 ein Zusatzfahrzeug bzw. ein Anhänger bzw. Trailer 6 befestigt ist. Der Trailer 6 umfasst ein Steuergerät 7 und vier Trailer-Kameras 8a-8d, deren Daten bzw. Streams vom Steuergerät 7 gesammelt werden können, welches diese Daten wiederum an die Steuereinrichtung 2 übermitteln kann (z. B. drahtgebunden oder über Funk), z. B. als Image oder Vorstufe davon.
-
Ferner kann das Steuergerät 7 für den Trailer 6 dient dazu, die vier Kamerabilder des Trailers 6 von der hinteren Kameraposition (Rück-Kamera 3d) des Fahrzeugs 1 aus in 3D zu betrachten. Die intrinsischen und extrinsischen Werte der Kamera 3d können beim Anfahren dem Steuergerät 7 angegeben werden.
-
Auf dem Steuergerät 7 wird eine 3D-Bowl Geometrie bzw. Bowl 10 erzeugt, wobei die Position des Trailers 6 die Mitte der Bowl 10 ist. Die vier Kameras 8a-8d des Trailers 6 werden zur Textur der 3D-Bowl verwendet. Das Steuergerät 7 kann dabei auch über bekannte Algorithmen die toten Winkel der Kameras 8a-8d des Anhängers abdecken, d. h. die Fläche 11 unter dem Trailer 6 sowie alle Karosserieteile des Trailers 6, wie in 3 dargestellt. Dabei wird die Bodenfläche der Bowl 10 vergrößert (wie in 4 anhand des schwarzen Pfeils in Richtung Trailer 6 gezeigt), um den Trailer 6 hinter dem Fahrzeug 1 mit aufzunehmen. Danach müssen sowohl der tote Winkel unter dem Fahrzeug bzw. Fläche 12 als auch die vom Fahrzeug sicht-baren Karosserieteile abgedeckt werden. Die 3D-Ansicht wird dann dargestellt, wobei eine virtuelle Kameraposition der hinteren Kameraposition des realen Fahrzeugs entspricht und idealerweise ein horizontales Sichtfeld (Field of View) von 180° ist. Obwohl auch ein kleineres Sichtfeld funktionieren würde, imitiert ein Sichtfeld von 180° eine Surround-View-Rück-Kamera in besonders guter Weise. Die generierte Ansicht wird dann an die Steuereinrichtung 2 gesendet und ersetzt dort den Rück-Kamera-Stream bei der 3D-Ansicht (wie in 5 an-hand der Abgrenzung zwischen Rück-Kamera-Stream und restlichen Streams gezeigt). Als letzter Schritt können dann das 3D-Fahrzeug- und Anhängermodell in die 3D-Ansicht aufgenommen werden (wie in 6 gezeigt). Das Anhängermodell kann entweder vom Anhänger-Steuergerät 7 bei der Initialisierungsphase geliefert werden oder es kann ein generisches Modell verwendet werden, das an die realen Abmessungen des Trailers 6 angepasst ist. Die für die Positionierung des 3D-Anhängermodells erforderlichen Informationen: Lage, Länge, Breite und Winkel des Anhängers können vom System und vom Fahrer bereitgestellt werden.
-
Ferner können die Länge und der Winkel des Trailers herangezogen werden, um zu berechnen, in welche Richtung die Bowl ausgeweitet bzw. ausgedehnt werden soll.
-
Exemplarisch sind in 7 (a)-(c) unterschiedliche Ausdehnungen der Bowl 10 dargestellt, die in Abhängigkeit von der Länge und Orientierung des Trailers 6 erzeugt wurden. Die Ausdehnung der Bowl 10 ist in Fig. (b) und 7 (c) anhand des schwarzen Pfeils dargestellt.
-
Sollte die Kommunikation nur unidirektional funktionieren (d. h. nur in eine Richtung: entweder vom Fahrzeug 1 zum Trailer 6 oder vom Trailer 6 zum Fahrzeug 1), kann entweder das Steuergerät 7 des Trailers 6 verwendet werden, um eine generische Rückkamera-Position und entsprechende Kameraparameter, die dann der Steuereinrichtung 2 des Fahrzeugs 1 zur Ver-fügung stellen, die dann zur Projektion der erzeugten Rückansicht in der 3D-Bowl 10 verwendet werden. Oder das Steuergerät 7 für den Trailer 6 kann anstelle der hinteren Kameraposition verwendet werden - Die jeweilige Kamerakonfiguration kann somit der Steuereinrichtung 2 des Fahrzeugs 1 zur Verfügung gestellt werden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Steuereinrichtung
- 3a
- Kamera
- 3b
- Kamera
- 3c
- Kamera
- 3d
- Kamera
- 4
- Kamerasensor
- 5
- Lidarsensor
- 6
- Trailer
- 7
- Steuergerät
- 8a
- Trailer-Kamera
- 8b
- Trailer-Kamera
- 8c
- Trailer-Kamera
- 8d
- Trailer-Kamera
- 9
- Rückfahrsicht Kamera (3d)
- 10
- Bowl
- 11
- Fläche
- 12
- Fläche
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016224904 A1 [0005]
- US 2017341583 A1 [0007]
- EP 3318469 A1 [0008]
- US 9860445 B2 [0009]
