-
Die vorliegende Erfindung betrifft ein Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung eines Fahrzeugs repräsentieren. Insbesondere sollen Umfelddaten ermittelt werden, die einen Bereich der Umgebung des Fahrzeugs repräsentieren, der aktuell unter dem Fahrzeug liegt.
-
Aus dem Stand der Technik sind zahlreiche Kamerasysteme für Fahrzeuge bekannt. Diese umfassen insbesondere eine Rückfahrkamera oder seitlich angebrachte Kameras. Aus den Rohdaten der Kameras können unterschiedliche Bilder erzeugt werden, beispielsweise eine Ansicht des rückwärtigen Bereichs des Fahrzeugs oder eine virtuelle Ansicht aus der Vogelperspektive.
-
Ebenso ist aus dem Stand der Technik eine Kamera bekannt, die ein Gelände unter dem Fahrzeug erfasst. Allerdings haben solche Kameras den Nachteil, dass diese aufgrund von Verschmutzungen während des Betriebs des Fahrzeugs nicht oder nur beschränkt einsatzfähig sind.
-
Abgesehen von der Verschmutzungsproblematik weist eine Kamera unterhalb des Fahrzeugs einen sehr ungünstigen Erfassungswinkel und somit eine sehr ungünstige Erfassungsperspektive eines dreidimensionalen Gebildes des Geländes auf. Aus diesen Gründen ist ein Bild einer solchen Kamera kaum verwertbar.
-
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zur Ermittlung von eine Umgebung eines Fahrzeugs repräsentierenden Daten bereitzustellen, das bei einfacher und kostengünstiger Anwendung eine verbesserte Ermittlung von Umfelddaten eines Fahrzeugs, insbesondere von Umfelddaten, die Bereiche unterhalb des Fahrzeugs repräsentieren ermöglicht.
-
Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die abhängigen Ansprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
-
Somit wird die Aufgabe gelöst durch ein Verfahren zur Darstellung von Umfelddaten unterhalb eines Fahrzeugs, das die folgenden Schritte aufweist. Zunächst erfolgt ein Erfassen eines Bewegungsparameters. Der Bewegungsparameter repräsentiert eine Bewegung des Fahrzeugs.
-
Die Bewegungsparameter umfasst dabei zumindest eine Größe die abhängig von der Bewegung des Fahrzeugs ist. Der Bewegungsparameter kann dabei eine absolute Bewegung des Fahrzeugs und/oder eine relative, insbesondere lokale Bewegung des Fahrzeugs repräsentieren. Bevorzugt repräsentiert der Bewegungsparameter eine Fahrzeugbewegung in Relation zu einem bestimmten Teil der Umgebung. Ein Bewegungsparameter kann beispielsweise als ein Vektor, eine Verkettung der Vektoren und/oder in einem, insbesondere lokalen Koordinatensystem, z.B. in einem zylindrischen Koordinatensystem ausgedrückt werden. Besonders bevorzugt repräsentiert der Bewegungsparameter die Bewegung von zumindest zwei Rädern des Fahrzeugs, wobei die Bewegung der Räder insbesondere mittels Radsensoren erfasst werden kann.
-
Der Bewegungsparameter kann insbesondere eine (für die nahe Zukunft, insbesondere für einen bestimmten Zeitpunkt) vorausermittelte Bewegung des Fahrzeugs repräsentieren.
-
Dabei ist insbesondere vorgesehen, dass der Bewegungsparameter eine resultierende Bewegung des Fahrzeugs, insbesondere von mehreren aufeinanderfolgenden Bewegungen des Fahrzeugs, umfasst. Vorteilhafterweise können Bewegungsparameter aus odometrischen Daten des Fahrzeugs ermittelt werden.
-
Dabei können Bewegungsparameter insbesondere eine Historie aus einer oder mehreren komplexen Bewegungen, insbesondere Rangierbewegungen des Fahrzeugs betreffen. Der Bewegungsparameter bzw. die zugrundeliegenden odometrischen Daten werden vorteilhafterweise aus Radsensoren und/oder Lenkradsensoren und/oder Lenkwinkelsensoren ermittelt.
-
Beim Ermitteln des Bewegungsparameters kann ein mathematisches Fahrzeugmodell, z.B. ein speziell weiterentwickelten Ackermann-Modell berücksichtigt werden. Dabei kann zumindest eine Drehung des Fahrzeugs um zumindest eine vertikale Achse oder zwei vertikalen Achsen, insbesondere bei Fahrzeugen, die über eine Hinterradlenkung verfügen, und/oder Neigen, Wanken berücksichtigt werden.
-
Alternativ oder zusätzlich kann das Ermitteln des Bewegungsparameters ein Auslesen von Bewegungsdaten aus einer, insbesondere für diesen Zweck und/oder für einen anderen Zweck geschaffenen, Datenschnittstelle umfassen.
-
In einer alternativen Variante des Verfahrens wird der Bewegungsparameter unmittelbar oder mittelbar aus Umfeldsensoren ermittelt. Dabei können beispielsweise bestimmte Merkmale der Fahrbahn, z.B. Unebenheiten oder Texturen mit einem Umfeldsensor des Fahrzeugs erfasst und ggf. getrackt werden. Dabei kann die Bewegung des Fahrzeugs als eine Relativbewegung, insbesondere Drehung, Längsbewegung, Querbewegung, als eine Relativbewegung zu zwei oder mehreren unbeweglichen Umfeldmerkmalen ermittelt werden.
-
Außerdem ist vorteilhafterweise vorgesehen, dass als Bewegungsparameter auch eine vorhergesagte zukünftige Bewegung des Fahrzeugs erfasst wird. Auf diese Weise stehen ein Bewegungsparameter nicht nur aus der Vergangenheit und der Gegenwart zur Verfügung, sondern ebenso prognostizierte Bewegungen in der Zukunft.
-
Nach dem Erfassen des Bewegungsparameters oder gleichzeitig mit dem Erfassen des Bewegungsparameters oder vor dem Erfassen des Bewegungsparameters erfolgt ein Erfassen von Umfelddaten. Die Umfelddaten repräsentieren zumindest einen Teil der Umgebung des Fahrzeugs. Das Erfassen von Umfelddaten erfolgt vorteilhafterweise mittels zumindest einer Umfeldsensorik des Fahrzeugs. Durch die Umfeldsensorik des Fahrzeugs ist zumindest ein bestimmter Teil der Umgebung zumindest abschnittsweise zwischenspeicherbar. Dabei können die Umfelddaten sequentielle Messungen bzw. Datenpakete oder einen kontinuierlichen Datenstrom umfassen.
-
Als ein weiterer Schritt erfolgt ein Ermitteln von Fahrzeuguntergrunddaten abhängig von und/oder aus den (gespeicherten) Umfelddaten. Dabei repräsentieren die Fahrzeuguntergrunddaten einen Bereich aus der Umgebung des Fahrzeugs, über dem sich das Fahrzeug gemäß dem Bewegungsparameter aktuell befindet. Somit wird aus den Umfelddaten insbesondere derjenige Bereich der repräsentierten Umgebung extrahiert, zu dem sich das Fahrzeug gemäß dem Bewegungsparameter bewegt hat. Dies wird insbesondere anhand einer Geschwindigkeit des Fahrzeugs sowie einer vergangen Zeit seit der Erfassung der Umfelddaten, aus denen die Umfelddaten bestimmt wurden.
-
Als letzter Schritt erfolgt ein Bereitstellen und/oder Ausgeben der Fahrzeuguntergrunddaten. Die Fahrzeuguntergrunddaten können insbesondere auf einer Anzeigevorrichtung angezeigt werden. Ferner können die ermittelten Unterbodendate für eine weitere Verarbeitung im Fahrzeug, beispielsweise für eine Fahrzeugfunktion, die eine Situationsinterpretation umfasst bereitgestellt werden. Ferner können die ermittelten Fahrzeuguntergrunddaten an eine Recheneinheit außerhalb des Fahrzeugs, insbesondere an ein Backend oder an ein mobiles Anwendungsgerät des Benutzers bereitgestellt werden. Ein mobiles Anwendergerät umfasst insbesondere eine Anzeigevorrichtung zur Ausgabe einer Darstellung abhängig von den bereitgestellten Fahrzeuguntergrunddaten. Ein mobiles Anwendergerät kann beispielsweise ein Smartphone, Tablet, sogenannte Datenbrille oder sinngemäße Weiterbildungen solcher Vorrichtungen sein.
-
Ein oder mehrere beschriebenen Schritte des Verfahrens werden bevorzugt zyklisch, insbesondere mehrere Male pro Sekunde durchgeführt, wobei Daten repräsentierend eine Bildfolge repräsentierend die Fahrzeuguntergrunddaten bereitgestellt und/oder ausgegeben werden.
-
Besonders bevorzugt erfolgt das Bereitstellen der (jeweiligen) Fahrzeuguntergrunddaten und/oder Ausgeben der Fahrzeuguntergrunddaten abhängig von der aktuellen Positionsinformation des Fahrzeugs. Beispielsweise kann die Ausgabe eine Bildfolge auf einer Anzeigevorrichtung abhängig von der Veränderung der Positionsinformation erfolgen.
-
Durch die Fahrzeuguntergrunddaten sind Daten bereitgestellt, die einen Bereich aus der Umgebung des Fahrzeugs repräsentieren, der aktuell unterhalb des Fahrzeugs liegt.
-
Somit ist keine Unterbodenkamera des Fahrzeugs benötigt, um den Bereich unter dem Fahrzeug visualisieren zu können. Daher kann einem Fahrer des Fahrzeugs ein hochwertiges Bild der Umgebung unterhalb seines Fahrzeugs angezeigt werden.
-
Besonders bevorzugt kann das Verfahren insbesondere für Einparkvorgänge, Rangiervorgänge oder für das Befahren von unebenen Geländeteilen (sogenannter Offroad-Bereich) mit zumindest einem Rad angewandt werden. Bevorzugt können unebene Geländeteile auch Teile eines unbefestigten Straßenrands sein.
-
In einer bevorzugten Ausführungsform findet nach dem Erfassen der Umfelddaten sowie dem Erfassen des Bewegungsparameters ein Bestimmen von Umfelddaten für einen ersten Umfeldbereich aus den erfassten Umfelddaten statt. Dabei ist vorgesehen, dass der erste Umfeldbereich ein Abschnitt aus der Umgebung des Fahrzeugs ist, der aufgrund des Bewegungsparameters mit einem vordefinierten Wahrscheinlichkeitswert zukünftig unter dem Fahrzeug liegen wird. Dazu wird der Bewegungsparameter vorzugsweise extrapoliert, wodurch aus den Umfelddaten Bereiche extrahierbar sind, denen jeweils ein Wahrscheinlichkeitswert zugeordnet werden kann, mit dem das Fahrzeug diesen Bereich überfahren wird. Sollte der Wahrscheinlichkeitswert einen definierten Grenzwert überschreiten, so wird der entsprechende Bereich dem ersten Umfeldbereich zugeordnet. Somit sind diejenigen Bereiche aus der Umgebung bekannt, über die das Fahrzeug mit zumindest dem vorgegebenen Wahrscheinlichkeitswert zukünftig fahren wird. Die Fahrzeuguntergrunddaten werden anschließend vorteilhafterweise aus den Umfelddaten für den ersten Umfeldbereich bestimmt. Die Umfelddaten für den ersten Umfeldbereich werden nachfolgend auch Überfahrdaten genannt.
-
Der Positionsparameter ist dabei eine positionsabhängige Größe, die sich insbesondere bei lokalen Bewegungen des Fahrzeugs entsprechend der Positionsveränderung, beispielsweise bei einer Vorwärtsfahrt, Rückwärtsfahrt, Querbewegung, Drehung des Fahrzeugs) verändert. Der Positionsparameter kann eine absolute, insbesondere globale Position und/oder eine relative, insbesondere lokale Position des Fahrzeugs repräsentieren.
-
Bevorzugt repräsentiert der Positionsparameter eine Fahrzeugposition in Relation zu einem bestimmten Teil der Umgebung. Ein Positionsparameter kann beispielsweise als ein Vektor, eine Verkettung der Vektoren und/oder in einem, insbesondere lokalen Koordinatensystem, z.B. in einem zylindrischen Koordinatensystem ausgedrückt werden. Bevorzugt umfasst der Positionsparameter einen oder mehrere, insbesondere relative, Winkelwerte.
-
Dabei kann das Verfahren das Ermitteln eines Wahrscheinlichkeitswerts umfassen, der die Wahrscheinlichkeit repräsentiert, dass ein bestimmter Teil der Umgebung zukünftig von dem Fahrzeug überdeckt wird. Alternativ oder zusätzlich kann eine Größe ermittelt werden, die darauf schließen lässt, dass ein bestimmter Umgebungsbereich mit einer, einen bestimmten Wert übersteigenden, Wahrscheinlichkeit zukünftig von dem Fahrzeug überdeckt wird.
-
Dabei kann Verfahren umfassen, dass abhängig von einem Bewegungsparameters und/oder eines Positionsparameters des Fahrzeugs ermittelt wird, dass ein bestimmter Umgebungsbereich mit einer, einen bestimmten Wert übersteigenden, Wahrscheinlichkeit zukünftig von dem Fahrzeug überdeckt wird.
-
Maßgeblich für eine Überdeckung eines Teils der Umgebung durch das Fahrzeug kann die Position der Fahrzeugkontur sein. Insbesondere betrifft die Überdeckung einen Teil der Umgebung der durch die Kontur des Fahrzeugs, bzw. durch eine Projektion der Fahrzeugkontur auf das Gelände eingegrenzt wird.
-
Durch das Bestimmen der Umfelddaten für den ersten Umfeldbereich erfolgt vorteilhafterweise eine Verringerung des Aufwands, um das Verfahren auszuführen. So müssen lediglich solche Daten zwischengespeichert werden, die einen Abschnitt aus der Umgebung des Fahrzeugs repräsentieren, über dem sich das Fahrzeug mit einem vordefinierten Wahrscheinlichkeitswert befinden wird. Andere Daten, die solche Bereiche nicht repräsentieren, müssen nicht zwischengespeichert bzw. verarbeitet werden. Somit ist ein Aufwand zum Durchführen des Verfahrens verringert.
-
In einer bevorzugten Ausführungsform weist das Verfahren die folgenden Schritte auf. Zusätzlich erfolgt ein Bestimmen von Peripheriedaten, wobei die Peripheriedaten einen Abschnitt aus der Umgebung repräsentieren, der aktuell nicht unter dem Fahrzeug liegt. Somit sind die Peripheriedaten solche Daten, die eine Umgebung und/oder Hindernisse neben, vor oder hinter dem Fahrzeug repräsentieren. Bevorzugt werden die Peripheriedaten in Echtzeit gewonnen und müssen somit nicht zwischengespeichert werden. Bei den Peripheriedaten handelt es sich bevorzugt um Daten, die mittels einer Umgebungssensorik des Fahrzeugs erfasst wurden oder werden. Bei der Umgebungssensorik handelt es sich vorteilhafterweise um eine bildgebende Sensorik oder um eine Abstandssensorik. Alternativ oder zusätzlich können die Peripheriedaten vollständig oder teilweise auch aus den Umfelddaten extrahiert werden. Nach dem Bestimmen der Peripheriedaten erfolgt vorteilhafterweise ein Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten. Schließlich erfolgt ein Ausgeben der zusammengeführten Peripheriedaten und Fahrzeuguntergrunddaten. Werden die zusammengeführten Daten auf einer Anzeigevorrichtung angezeigt, so wird dem Fahrer des Fahrzeugs ein umfassendes Bild der Umgebung seines Fahrzeugs bereitgestellt. Dieses Bild umfasst neben einer Repräsentation des Bereichs unterhalb des Fahrzeugs auch eine Darstellung von erfassten Hindernissen neben, vor und hinter seinem Fahrzeug. Sollten die Peripheriedaten mittels bildgebender Sensoren erfasst worden sein, so kann dem Fahrer des Fahrzeugs ein vollständiges Bild der Umgebung gezeigt werden, z.B. so wie wenn das Fahrzeug nicht vorhanden wäre.
-
Besonders vorteilhaft umfasst das Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten ein zeitliches und/oder räumliches Zusammenführen. Dabei ist besonders vorteilhaft vorgesehen, dass das Zusammenführen, insbesondere ein Bestimmen einer geometrischen Relation zwischen Peripheriedaten und Fahrzeuguntergrunddaten sowie eine geometrische Transformation der Peripheriedaten und/oder der Fahrzeuguntergrunddaten, abhängig von einer oder mehreren in der Realität vorherrschenden oder in einer vorausbestimmten Weise modifizierten geometrischen Relationen, umfasst.
-
Bei der geometrischen Relation handelt es sich dabei bevorzugt um eine Abbildungsfunktion, zwischen den 3D-Daten aus der Umgebung und Daten 2D-Fahrzeuguntergrunddaten oder entsprechender 2D-Abbildungsdaten sein. Ferner kann es sich bei der geometrischen Relation um eine Abbildungsfunktion von 2D-Daten zu 2D-Daten, 3D-Daten in 3D-Daten oder 2D in 3D-Daten handeln.
-
Die geometrische Relation kann dabei in Abhängigkeit von einer lokalen Position eines Bereichs unterschiedliches Ergebnis liefern. D.h. die Abbildungsfunktion kann in Abhängigkeit von einer Position der abgebildeten Geländebereichs eine unterschiedliche geometrische Relation abbilden. Diese geometrische Relation bzw. die Abbildungsfunktion kann eine Vorschrift zur Veränderung der Pixelposition eines Teils der Umfelddaten zur Erzeugung eines Teils der Fahrzeuguntergrunddaten repräsentieren.
-
Beispielsweise erfolgt im Verfahren ein Auslesen ausgewählter Teile der gespeicherten Umfelddaten aus einem Speicher des Fahrzeugs, wobei die auszulesenden Teile der Umfelddaten in Abhängigkeit von den ermittelten Bewegungsdaten gewählt werden, Anwenden einer Abbildungsfunktion wobei Fahrzeuguntergrunddaten in Bezug auf einen bestimme Fahrzeugposition ermittelt werden und ein Bereitstellen der Fahrzeuguntergrunddaten (in Bezug auf eine bestimmte Fahrzeugposition) und/oder Ausgeben der Fahrzeuguntergrunddaten auf einer Anzeigevorrichtung wenn die jeweilige Fahrzeugposition erreicht wird oder unmittelbar bevorsteht.
-
Das zeitliche Zusammenführen umfasst insbesondere einen Vergleich von Erfassungszeitpunkten der Peripheriedaten sowie der Umfelddaten, aus denen die Fahrzeuguntergrunddaten bestimmt worden sind. Anhand des Erfassungszeitpunkts lassen sich somit Peripheriedaten und Umfelddaten bestimmen, die zeitlich synchronisiert sind.
-
Alternativ oder zusätzlich kann das Verfahren einen Schritt zum Ermitteln und/oder Erfassen einer zeitlichen Abbildungsfunktion umfassen, welche ein Ermitteln der Pixelwerte der Fahrzeuguntergrunddaten für ein bestimmtes Frame der Anzeige aus einem oder mehreren Pixelwerte der Umfelddaten aus einem oder mehreren weiteren Zeitintervallen repräsentiert.
-
Die geometrische Relation wird vorteilhafterweise in Abhängigkeit der Bewegungsdaten ermittelt. Dabei kann insbesondere berücksichtigt werden, dass die zugrundeliegende Umfelddaten und Peripheriedaten bei einer Fahrzeugbewegung (z.B. Längsbewegung und/oder Drehung um eine bestimmte Achse) bei unterschiedlichen oder variierenden Fahrzeugbewegungsgeschwindigkeiten erfasst werden können. Aus diesem Grund müssen die Peripheriedaten und die Fahrzeuguntergrunddaten, die aus den Umfelddaten bestimmt wurden, abhängig von einer oder mehreren in der Realität vorherrschenden oder in einer vorausbestimmten Weise modifizierten geometrischen Relation, geometrisch transformiert werden, um die Peripheriedaten und die Fahrzeuguntergrunddaten räumlich zu synchronisieren.
-
In einer Alternative umfasst das Zusammenführen der Peripheriedaten und der Fahrzeuguntergrunddaten besonders vorteilhaft ein Erkennen und/oder Identifizieren und/oder Zuordnen von Texturen und/oder unbeweglichen Objekten in den Peripheriedaten und/oder Fahrzeuguntergrunddaten. Anschließend erfolgt ein Homogenisieren der Peripheriedaten und Fahrzeuguntergrunddaten anhand der Texturen und/oder unbeweglichen Objekten.
-
Vorteilhafterweise wird hierzu eine Relativgeschwindigkeit der Texturen und/oder unbeweglichen Objekte in den Peripheriedaten und den Fahrzeuguntergrunddaten ermittelt. Da eine solche Relativgeschwindigkeit, insbesondere eine relative Drehung, sowohl in den Peripheriedaten als auch in den Fahrzeuguntergrunddaten identisch sein muss, lässt sich eine Regel zum Homogenisieren der Peripheriedaten und Fahrzeuguntergrunddaten ableiten. Insbesondere sind die Peripheriedaten und die Fahrzeuguntergrunddaten derart zu homogenisieren, dass Texturen und/oder unbewegliche Objekte in sowohl den Peripheriedaten als auch den Fahrzeuguntergrunddaten an stets derselben Stelle vorhanden sind und sich mit derselben Relativgeschwindigkeit bewegen.
-
Besonders bevorzugt ist vorgesehen, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder repräsentierend die Fahrzeuguntergrunddaten gesteuert wird, insbesondere abhängig: vom perspektivischen Verhältnis in dem einen anderen Teil der Darstellung repräsentiert wird, und/oder von einer erkannten Gefahrenstelle im Bezug auf einen Teil des Fahrzeugs, insbesondere im Bezug auf zumindest ein Rad des Fahrzeugs.
-
Z.B. werden nach Stand der Technik Bilder der Außenkameras in unterschiedliche Perspektiven umgerechnet. Auch wird (nach derselben Erfindung) eine modellhafte Abbildung des eigenen Fahrzeugs (in einer dazu passenden Perspektive) in das Bild eingefügt. Im neuen Verfahren können auch die Bilder zum ersten Geländeteil (aus nahen Vergangenheit) quasi „nachträglich“ einer analogen Prozedur unterzogen werden.
-
Die Anpassung des perspektivischen Verhältnisses kann im Verfahren bevorzugt erfolgen abhängig von der Position in der Umgebung und/oder am Fahrzeug, die von der ermittelten Gefahr betroffen ist. Dabei kann ein für eine verbesserte (frühzeitige) Wahrnehmung einer potentiellen Gefahr durch den Fahrer durch eine Anpassung des entsprechenden perspektivischen Verhältnisses in einem oder mehreren Schritten angestrebt bzw. erreicht werden. Besonders bevorzugt erfolgt eine schrittweise, insbesondere stufenlose Anpassung des perspektivischen Verhältnisses. Dabei kann der Fahrer die Veränderung besser nachvollziehen.
-
Bei einer automatischen Gefahrenerkennung im Bezug auf ein Rad des Fahrzeugs, z.B. ein welches gefährlich nahe oder unter einem gefährlichen scharfen Winkel zum Bordstein steht, kann die Perspektive der Bilder aus dem ersten Geländeteil ODER auch die Perspektive weiterer Teile der Darstellung variiert werden, wobei z.B. eine Perspektive zu einer besseren Gefahrenvermeidung gefunden wird.
-
Ebenso ist besonders bevorzugt vorgesehen, dass eine geometrische Transformation, insbesondere ein virtuelles perspektivischen Verhältnis, der Bilder der Fahrzeugunterbodendaten und/oder der Bilder der Peripheriedaten zumindest in einem Grenzbereich der beiden Anzeigeteile angepasst wird, insbesondere derart, dass der Grenzbereich der Anzeige der Fahrzeugunterbodendaten und der Anzeige der Peripheriedaten eine übergangslose oder visuell nachvollziehbare Fortsetzung der Texturen der Umgebung darstellen.
-
Dabei kann die geometrische Transformation, z.B. Skalierung, Stecken, Dehnen, Verformen, z.B. trapezartig, Stitchen, sowie eine Veränderung der virtuellen Perspektive umfassen.
-
Insbesondere wird das Umgebungsbild, repräsentierend einen vom Fahrzeug besetzten Bereich der Umgebung und einen Bereich der Umgebung außerhalb des vom Fahrzeug besetzten Bereichs innerhalb einer Darstellung bzw. Anzeigevorrichtung in einer „zueinander passenden“ Skalierung und/oder perspektivischen Verhältnis dargestellt.
-
Weiterhin ist vorteilhafterweise vorgesehen, dass ein Teil der Umgebung des Fahrzeugs der sich außerhalb des vom Fahrzeug besetzten Bereichs in der Nähe der Kontur des Fahrzeugs befindet, aus den Fahrzeuguntergrunddaten erzeugt wird, wobei eine Anpassung geometrischer und/oder perspektivischer Parameter der Fahrzeuguntergrunddaten und/oder der Peripheriedaten erfolgt, dass die Texturen der Fahrzeuguntergrunddaten passend sind zu den Texturen der Peripheriedaten angezeigt wird. Dabei soll ein im Wesentlichen „texturen-echter“ Übergang geschaffen werden.
-
Bevorzugt ist ebenso vorgesehen, dass die Darstellung auch umfasst zumindest eine Grafik, die die Abmessungen des Fahrzeugs, insbesondere eine Kontur des Fahrzeugs, zumindest symbolisch repräsentiert, wobei die Grafik bevorzugt die Grenze zwischen den Teilen der Anzeige zu den Fahrzeuguntergrunddaten und den Teilen der Anzeigen zum den Peripheriedaten repräsentiert. Somit kann der Fahrer klar unterscheiden, welche Hindernisse unter den Fahrzeugunterboden sind (sein sollten, dürfen) und welche nicht. Dabei kann auch betonnt werden, dass die Darstellung der Fahrzeuguntergrunddaten eine weniger verlässliche (da in der Regel um einige Sekunden veraltete) Information im Vergleich zu der Darstellung der Peripheriedaten umfasst.
-
In einer weiteren bevorzugten Ausführungsform der Erfindung werden die Fahrzeuguntergrunddaten gemeinsam mit Radinformationen, insbesondere mit einer aktuellen Ausrichtung und/oder einer aktuellen Position und/oder einer, insbesondere anhand der Bewegungsdaten, vorausgesagten Position des Rads des Fahrzeugs, ausgegeben. Bei dem zumindest einen Rad handelt es sich insbesondere um ein Vorderrad oder um ein Hinterrad des Fahrzeugs. Durch die Position und/oder Ausrichtung des dargestellten Rads wird insbesondere eine Trajektorie des Rads, die vorteilhafterweise anhand der Bewegungsdaten durch Extrapolation vorhergesagt wird, repräsentiert. Auf diese Weise wird dem Fahrer des Fahrzeugs insbesondere eine Relation zwischen den Rädern seines Fahrzeugs und Besonderheiten in der Umgebung des Fahrzeugs, wie insbesondere Parklinien und/oder Randsteinen oder und/oder Schlaglöchern, visualisiert.
-
Vorteilhafterweise erfolgt eine Anzeige der Fahrzeuguntergrunddaten und/oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten auf einer Anzeigevorrichtung dann, wenn ein vordefiniertes Ereignis eintritt. Bei dem vordefinierten Ereignis handelt es sich insbesondere um ein Befahren einer unebenen Strecke und/oder ein Annähern an ein Hindernis und/oder ein Überschreiten von vordefinierten vertikaldynamischen Einflüssen auf das Fahrzeug. In dem Fall des vordefinierten Ereignisses ist es für den Fahrer des Fahrzeugs hilfreich, zusätzliche Informationen zu dem Umfeld unterhalb seines Fahrzeugs zu erhalten. Somit erfolgt die Anzeige der Fahrzeuguntergrunddaten oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten nur dann, wenn diese auch eine hilfreiche Information liefern kann. Ohne das vordefinierte Ereignis ist die Anzeige der Fahrzeuguntergrunddaten oder der zusammengeführten Fahrzeuguntergrunddaten und Peripheriedaten eine redundante Information, die dem Fahrer des Fahrzeugs keinen Mehrwert liefert und gleichzeitig viele Ressourcen benötigt.
-
Die Umfelddaten werden vorteilhafterweise mittels zumindest einer Kamera und/oder mittels zumindest eines Sensors zum Abtasten der Umgebung des Fahrzeugs generiert. Die zumindest eine Kamera ist vorteilhafterweise ein 3D-Kamerasystem. Insbesondere ist vorgesehen, dass die Umfelddaten kombiniert aus den Daten der Kamera und dem zumindest einen Sensor zum Abtasten der Umgebung zusammengesetzt werden.
-
Bei dem zumindest einen Sensor zum Abtasten der Umgebung handelt es sich vorteilhafterweise um einen Sensor zu ein nahezu gleichzeitigen oder scannenden Erfassung mehrerer Abstandwerte, insbesondere um einen Infrarotsensor, einen Lasersensor, oder einen oder mehreren Ultraschallsensoren.
-
Außerdem ist bevorzugt vorgesehen, dass es sich bei den Bewegungsdaten um eine resultierende Bewegung des Fahrzeugs, insbesondere von mehreren aufeinanderfolgenden Bewegungen des Fahrzeugs, handelt. Beispielsweise können die Bewegungsdaten aus den aufgezeichneten odometrischen Daten handeln, z.B. eine Historie aus mehreren Rangierbewegungen des Fahrzeugs, z.B. bei einem Rangiervorgang aus mehreren Rangierzügen ermittelt werden. D.h. es können im Verfahren die aktuellen odometrischen Daten und die von der nahen Vergangenheit aufgezeichneten odometrischen Daten berücksichtigt werden. Dabei können die odometrischen Daten z.B. aus Radsensoren, Lenkradsensoren, ermittelt werden. Bewegungsdaten können auch abhängig von den Bedienvorgängen des Fahrzeugs (Lenkradsensor vor, zurück) ermittelt werden. Besonders bevorzugt können Bewegungsdaten auch abhängig von der sensorischen Erfassung der Fahrzeugumgebung erfolgen, z.B. auch abhängig von den Daten derselben Kamera. Dabei kann abhängig von einer Bewegung der Objekte oder Texturen in den Sensordaten eine relative Bewegung des Fahrzeugs ermittelt werden. Besonders bevorzugt werden auch für die nahe Zukunft vorausgesagten Bewegungsdaten berücksichtigt. Somit kann die (technisch bedingt) etwas verzögerte Ausgabe der Darstellung auf der Anzeigevorrichtung des Fahrzeugs ausgeglichen werden. Auch kann die Auswahl der Fahrzeuguntergrunddaten abhängig von den vorausgesagten Bewegungsdaten (z.B. für die nächsten Sekunden) ermittelt werden. Auch können Bewegungsdaten z.B. abhängig von (präzise bestimmten) Koordinaten bzw. Koordinatenveränderung und/oder Ausrichtung des Fahrzeugs oder Veränderung der Ausrichtung des Fahrzeugs ermittelt werden.
-
Weiterhin ist bevorzugt vorgesehen, dass eine Kombination aus einem Umgebungsbild, repräsentierend einen ersten Teil der Umgebung der vom Fahrzeug aktuell besetzt wird und eines zweiten Teil der Umgebung der aktuell außerhalb des vom Fahrzeug besetzten Bereichs ist, bevorzugt innerhalb einer Darstellung bzw. Anzeigevorrichtung ausgegeben werden. Beispielsweise kann der Fahrer (im Endergebnis) mehrere Teile eines gefährlichen Bordsteins direkt durch die Windschutzscheibe, durch ein aktuelles Bild einer Seitenkamera und durch die angepassten Daten für das im Verfahren erzeugte „Unterboden-Bild“ sehen. Resultat: sehr viel bessere Orientierung, objektive und subjektive Sicherheit, besseres Einparken.
-
Vorteilhafterweise ist vorgesehen, dass Fahrzeuguntergrunddaten aus Bildern einer Kamera und/oder eines Sensors zum Erkennen oder Vermessen von Objekten oder des Geländereliefs ermittelt werden. Besonders bevorzugt können die ersten Daten zumindest Kamerabilder UND eine weitere sensorisch erfasste, insbesondere interpretierte Information zu Objekten oder Geländerelief umfassen. Das Verfahren kann auf diese zusammen oder separat angewandt werden. Daraus kann eine Darstellung resultieren, die unterschiedliche bzw. sich ergänzende Informationen dem Fahrer anbietet.
-
Des Weiteren betrifft die Erfindung ein Computerprogrammprodukt. Das Computerprogrammprodukt umfasst einen maschinenlesbaren Code mit Instruktionen, welche, wenn Sie auf einem programmierbaren Prozessor eines Steuergeräts ausgeführt werden, den Prozessor veranlassen, die Schritte eines Verfahrens wie zuvor beschrieben durchzuführen. Das Steuergerät ist insbesondere in einem Fahrzeug einsetzbar.
-
Außerdem betrifft die Erfindung eine Vorrichtung für ein Fahrzeug, wobei die Vorrichtung zumindest ein Steuergerät umfasst, das insbesondere ausgebildet ist, das zuvor beschriebene Computerprogrammprodukt ablaufen zu lassen. Ebenso ist die Vorrichtung vorteilhafterweise eingerichtet, das zuvor beschriebene Verfahren oder Teil des Verfahrens auszuführen.
-
Die Vorrichtung und das Computerprogrammprodukt weisen dieselben bzw. sinngemäßen Vorteile das beschriebene Verfahren innehat.
-
Schließlich betrifft die Erfindung ein Fahrzeug, das eine Vorrichtung, wie zuvor beschrieben, umfasst oder zum Betreiben einer solchen Vorrichtung eingerichtet ist.
-
Bei dem Fahrzeug handelt es sich insbesondere um ein Kraftfahrzeug (Personenkraftwagen, Lastkraftwagen, Transporter, sog. „Sattelschlepper“) oder ein Fahrzeuganhänger (Wohnmobil, Lastanhänger, Pferdeanhänger, Jachtanhänger). Daraus ergeben sich mehrere in diesem Dokument explizit und implizit beschriebene sowie weitere vom Fachmann leicht nachvollziehbare Vorteile. Des Weiteren kann das Fahrzeug auch Wasserfahrzeug, Unterwasserfahrzeug oder Luft- bzw. Raumfahrzeug sein, wobei das Verfahren sinngemäß angewendet wird.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
-
1 eine erste schematische Abbildung eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung zum Ausführen des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung, und
-
2 eine zweite schematische Abbildung des Fahrzeugs gemäß dem Ausführungsbeispiel der Erfindung beim Ausführen des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung.
-
1 zeigt ein Fahrzeug 1 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrzeug 1 umfasst eine Vorrichtung 2 mit einem Steuergerät. Mit der Vorrichtung 2 ist das Verfahren gemäß einem Ausführungsbeispiel der Erfindung ausführbar. Dazu ist die Vorrichtung 2, in diesem Beispiel das Steuergerät mit einer Kamera 3 verbunden, sodass Daten zwischen der Kamera 3 und der Vorrichtung 2 austauschbar sind. Ebenso ist die Vorrichtung 2 mit nicht gezeigten Radsensoren des Fahrzeugs 1 verbunden. Auf diese Weise ist dem Steuergerät ermöglicht, Bewegungsparameter des Fahrzeugs 1 zu erfassen, die durch die Radsensoren ermittelt werden. Außerdem ist es der Vorrichtung 2 ermöglicht, Umfelddaten 4 des Fahrzeugs 1 zu erfassen, was mittels der Kamera 3 geschieht.
-
Bei der Kamera 3 kann es sich insbesondere um eine Infrarotkamera, eine Time-of-Flight-Kamera, oder um eine bildgebende Kamera handeln. Alternativ zu der Kamera 3 ist insbesondere ein Laserscanner, eine Ultraschallsensorik oder eine Radarsensorik verwendbar. Hierbei können die Umfelddaten 4 entweder von der Kamera 3 allein oder durch Kombination von Daten der Kamera 3 mit Daten von weiteren Sensoren, wie zuvor genannt, generiert werden. Sollten die Umfelddaten aus Daten mehrerer Sensoren zusammengesetzt werden, so ist dies insbesondere abhängig von einem Übereinstimmungsgrad zwischen den von den jeweiligen Daten repräsentierten Geländeteilen, der Datenqualität der Datenabschnitte, der Erfassungsperspektive der jeweiligen Umgebung durch den entsprechenden Sensor sowie das Alter der jeweiligen Daten.
-
Die Umfelddaten 4 werden in dem gezeigten Ausführungsbeispiel von der Kamera 3 erfasst. Aus den Umgebungsdaten 4 werden Überfahrdaten 5 bestimmt. Die Überfahrdaten entsprechen Umfelddaten für einen Umfeldbereich 5 der Umgebung des Fahrzeugs 1, wobei das Fahrzeug 1 den ersten Umfeldbereich 5 mit einer vordefinierten Wahrscheinlichkeit aufgrund des Bewegungsparameters zukünftig überfahren wird. In dem in 1 gezeigten Ausführungsbeispiel führt das Fahrzeug eine Geradeausfahrt durch, sodass davon ausgegangen werden kann, dass Bereiche vor dem Fahrzeug 1 in Zukunft unter dem Fahrzeug 1 liegen werden. Auf diese Weise werden die Überfahrdaten aus den Umfelddaten 4 bestimmt. Die übrigen Umfelddaten 4 müssen nicht zwischengespeichert werden und können somit gelöscht werden. Lediglich die Überfahrdaten werden vorteilhafterweise in dem Steuergerät der Vorrichtung 2 zwischengespeichert. In einer Alternative werden sämtliche Umfelddaten 4 zwischengespeichert, sodass auf das Bestimmen der Überfahrdaten verzichtet werden kann. In diesem Fall erfolgt vorteilhafterweise ein Bestimmen von Fahrzeuguntergrunddaten 6, wie nachfolgend beschrieben, unmittelbar aus den Umfelddaten 4.
-
Der Bewegungsparameter ist insbesondere eine Sammlung aufgezeichneter odometrischer Daten. In einem anderen Ausführungsbeispiel werden Bewegungsparameter vorteilhafterweise in Abhängigkeit von Bedienvorgängen des Fahrzeugs 1 durch einen Fahrer ermittelt. Dazu werden Bewegungsparameter vorteilhafterweise anhand eines Lenkradsensors in einer Bewegungsrichtung des Fahrzeugs ermittelt. In einer anderen Alternative werden Bewegungsparameter durch sensorische Erfassung der Umgebung des Fahrzeugs 1 ermittelt. Somit können Bewegungsparameter analog zu den Umfelddaten ermittelt werden, vorteilhafterweise aus den Daten der Kamera 3.
-
Besonders bevorzugt werden auch für eine nahe Zukunft vorausgesagte Bewegungsparameter berücksichtigt. Somit kann eine technisch bedingte verzögerte Ausgabe der bestimmten Fahrzeuguntergrunddaten ausgeglichen werden.
-
Schließlich ist bevorzugt vorgesehen, dass der Bewegungsparameter abhängig von präzise bestimmten Koordinaten oder Koordinatenveränderungen und/oder einer Ausrichtung des Fahrzeugs oder einer Veränderung der Ausrichtung des Fahrzeugs ermittelt werden.
-
In 2 ist gezeigt, wie aktuelle Fahrzeuguntergrunddaten 6 des Fahrzeugs 1 ermittelt werden. Dazu werden aus den Überfahrdaten Fahrzeuguntergrunddaten 6 bestimmt, wobei dies anhand der Bewegungsdaten geschieht. So lässt sich für jeden Abschnitt aus den Fahrzeuguntergrunddaten und anhand des Bewegungsparameters des Fahrzeugs 1 ein Zeitpunkt bestimmen, zu dem sich das Fahrzeug 1 über dem von dem jeweiligen Abschnitt der Überfahrdaten präsentierten Bereich der Umgebung des Fahrzeugs 1 befinden wird. Zu diesem Zeitpunkt erfolgt vorteilhafterweise eine Zuordnung des jeweiligen Abschnitts der Überfahrdaten zu den Fahrzeuguntergrunddaten 6. Die Fahrzeuguntergrunddaten 6 werden vorteilhafterweise an eine Anzeigevorrichtung des Fahrzeugs 1 ausgegeben, damit dem Fahrer die Umgebung unterhalb seines Fahrzeugs angezeigt werden kann. Dabei findet insbesondere eine passende geometrische Transformation statt, um dem Fahrer die Fahrzeuguntergrunddaten 6 aus einer passenden Perspektive, insbesondere aus einer Vogelperspektive, zu zeigen.
-
Wird das Bild der Kamera 3 zur Darstellung der Fahrzeuguntergrunddaten 6 verwendet, so wird dieses Bild insbesondere in eine passende Perspektive umgerechnet. Außerdem ist bevorzugt vorgesehen, dass eine modellhafte Abbildung des Fahrzeugs 1 in einer zu der Perspektive passenden Darstellung in die Anzeige eingefügt wird. Das Umrechnen der Perspektive erfolgt bevorzugt durch geometrische Transformationen, wie insbesondere Skalierung, Strecken, Dehnen, Verformen, vorteilhafterweise trapezartig, Stitchen, sowie Veränderung der virtuellen Perspektive.
-
Die Anzeige der Fahrzeuguntergrunddaten 6 erfolgt vorteilhafterweise erst dann, wenn ein vordefiniertes Ereignis eintritt. Bei dem vordefinierten Ereignis handelt es sich insbesondere um das Befahren einer unebenen Strecke, das Annähern an ein Hindernis oder an eine Geländekrümmung, um ein Überschreiten von vordefinierten vertikaldynamischen Einflüssen auf das Fahrzeug, oder um das Erkennen einer Bedienungsaktion des Fahrers, die einem vordefinierten Bedienungsmuster entspricht. Ein solches Bedienungsmuster kann insbesondere das Vorbereiten eines Parkmanövers, eines Rangiermanövers oder eines Wendemanövers sein. Nur wenn das vordefinierte Ereignis eintritt, werden die Fahrzeuguntergrunddaten 6 auf der Anzeigevorrichtung dargestellt, sodass dem Fahrer des Fahrzeugs nur dann eine Abbildung der Umgebung unterhalb seines Fahrzeugs bereitgestellt wird, wenn diese auch benötigt wird. Auf diese Weise werden überflüssige Informationen vermieden, die für den Fahrer störend wären. Gleichzeitig ist sichergestellt, dass die Informationen bereitstehen, wenn sie für den Fahrer eine wertvolle Hilfe sind.
-
Bevorzugt ist auf der Anzeigevorrichtung außerdem eine Reifenposition und/oder eine Ausrichtung der Reifen des Fahrzeugs 1 darstellbar. Dabei können wahlweise Vorderräder und/oder Hinterräder repräsentiert sein. Durch die Darstellung der Räder des Fahrzeugs 1 ist es dem Fahrer des Fahrzeugs 1 ermöglicht, die Gefahr einer Kollision zwischen Rädern und Hindernissen in der Umgebung abzuschätzen. Dies ist insbesondere bei einem Einparkvorgang an einem Randstein vorteilhaft. Besonders vorteilhaft ist außerdem vorgesehen, dass bei drohender Kollision zwischen Reifen und einem Hindernis ein Perspektivwechsel auf der Anzeige erfolgt, um dem Fahrer die drohende Kollision besser anzuzeigen.
-
Bevorzugt werden zusätzlich zu den Umfelddaten 4 Peripheriedaten 7 des Fahrzeugs 1 erfasst. Dabei können die Peripheriedaten 7 analog zu den Umfelddaten 4 mittels der Kamera 3 erfasst werden. Ebenso können die Peripheriedaten 7 vorteilhafterweise aus den Umfelddaten 4 gewonnen werden. Die Peripheriedaten 7 repräsentieren einen Bereich der Umgebung des Fahrzeugs 1, der aktuell nicht unterhalb des Fahrzeugs 1 liegt. Besonders bevorzugt werden die Peripheriedaten in Echtzeit erfasst, sodass diese stets Bereiche repräsentieren, die aktuell vor und/oder neben und/oder hinter dem Fahrzeug 1 liegen. Dabei können die Peripheriedaten 7 mit denselben und/oder mit unterschiedlichen Sensoren wie die Umfelddaten 4 erfasst werden.
-
Bevorzugt erfolgt ein Zusammenführen der Peripheriedaten 7 und der aus den Umfelddaten 4 gewonnenen Fahrzeuguntergrunddaten 6. Diese zusammengeführten Daten werden insbesondere auf der Anzeigevorrichtung dem Fahrer des Fahrzeugs 1 dargestellt. Somit steht dem Fahrer ein umfassendes Bild der Umgebung zur Verfügung, das neben Bereichen unterhalb des Fahrzeugs 1 auch Bereiche neben dem Fahrzeug 1 visualisiert.
-
Um die Fahrzeuguntergrunddaten 6 mit den Peripheriedaten 7 zusammenzuführen, wird insbesondere eine geometrische Relation zwischen den Peripheriedaten 7 und den Fahrzeuguntergrunddaten 6 bestimmt. Anhand dieser geometrischen Relation erfolgt insbesondere eine geometrische Transformation von Fahrzeuguntergrunddaten 6 und Peripheriedaten 7.
-
Bevorzugt werden die zusammengeführten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 innerhalb einer Darstellung ausgegeben. Alternativ oder zusätzlich können die zusammengeführten Daten an ein (dazu eingerichtetes) mobiles Anwendergerät des Nutzers bereitgestellt werden und an der (hier nicht dargestellten) Anzeige bzw. Ausgabevorrichtung des mobilen Anwendergeräts ausgegeben (angezeigt) werden. Ferner können die zusammengeführten Daten für eine Fahrzeugfunktion bereitgestellt werden, die beispielsweise Situationsinterpretation umfasst. Somit kann ein Fahrer des Fahrzeugs 1 insbesondere einen für das Fahrzeug gefährlichen Bordstein in mehreren Teilabschnitten auf unterschiedlichen Wegen einsehen. So sieht der Fahrer des Fahrzeugs 1 den Bordstein auf eine erste Weise direkt durch die Windschutzscheibe. Sollte eine Seitenkamera des Fahrzeugs 1 vorhanden sein, so ist der Bordstein in einer zweiten Weise durch ein aktuelles Bild der Seitenkamera sichtbar. Außerdem ist der Bordstein in einer dritten Weise durch die zusammengeführten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 darstellbar. Somit ergibt sich für den Fahrer des Fahrzeugs 1 eine verbesserte Orientierung und somit eine verbesserte objektive und subjektive Sicherheit. Dies ermöglicht ein verbessertes Einparken des Fahrzeugs 1 in eine Parklücke ohne drohende Gefahr einer Kollision mit einem Bordstein.
-
Sollte eine Anzeige erfolgen, bei der die kombinierten Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 gezeigt werden, so wird vorteilhafterweise ebenfalls ein Umriss des Fahrzeugs 1 dargestellt. Somit kann der Fahrer des Fahrzeugs 1 klar unterscheiden, welche dargestellten Hindernisse unter dem Fahrzeugunterboden liegen und welche nicht. Ebenso kann in der Anzeige betont werden, vorteilhafterweise durch eine verblasste Darstellung, dass die Informationen aus den Fahrzeuguntergrunddaten 6 weniger verlässlich sind, da diese Informationen von Daten stammen, die nicht in Echtzeit aufgenommen worden sind. Vielmehr handelt es sich bei den Fahrzeuguntergrunddaten 6 um Umfelddaten 4, die erfasst wurden, als die von den Umfelddaten repräsentierten Bereiche der Umgebung vor und/oder neben und/oder hinter dem Fahrzeug 1 lagen und aufgrund der Bewegungsdaten als zukünftig relevant eingestuft wurden.
-
Weiterhin ist bevorzugt vorgesehen, dass aus den Umfelddaten 4 Randbereiche 8 um die Überfahrdaten und/oder die Fahrzeuguntergrunddaten 6 bestimmt werden, die sich vorteilhafterweise mit den Peripheriedaten 7 überschneiden. Dabei ist vorgesehen, dass die Randdaten 8 beim Zusammenführen von Fahrzeuguntergrunddaten 6 und Peripheriedaten 7 derart mit den Peripheriedaten 7 überlagert werden, dass eine einheitliche Anzeige erfolgen kann. Auf diese Weise dienen die Randdaten 8 als Übergangszone zwischen den Fahrzeuguntergrunddaten 6 und den Peripheriedaten 7. Somit ist es ermöglicht, einen Übergang zwischen der Anzeige der Fahrzeuguntergrunddaten 6 und der Anzeige der Peripheriedaten 7 zu harmonisieren, wobei für den Fahrer des Fahrzeugs 1 der Eindruck eines homogenen Bildes entsteht.
-
Bevorzugt werden die Umfelddaten 4 von mehreren Sensoren gleichzeitig erfasst. In dem in 1 gezeigten Ausführungsbeispiel werden die Umfelddaten 4 durch die Kamera 3 erfasst. Vorteilhafterweise ist vorgesehen, dass die Umfelddaten 4 zusätzlich von Abstandssensoren (nicht gezeigt) des Fahrzeugs 1 erfasst werden. Somit können einzelne Objekte aus der Umgebung des Fahrzeugs sowohl grafisch dargestellt als auch räumlich vermessen werden. Somit lassen sich dem Fahrer des Fahrzeugs 1 ergänzende Informationen darstellen.
-
Dem Fahrer des Fahrzeugs 1 steht somit eine Orientierungshilfe zur Verfügung, die insbesondere beim Rangieren des Fahrzeugs 1 als auch beim Befahren unebener Straßen eine Hilfe für das Bedienen des Fahrzeugs 1 darstellt.
-
Durch die Darstellung des Bereichs unterhalb des Fahrzeugs 1 ist dem Fahrer eine bessere Erkennung und Vermeidung von bevorstehenden Kollisionen des Fahrzeugs 1 mit einem Hindernis ermöglicht. Somit wird sowohl die objektive als auch die subjektive Sicherheit des Fahrzeugs 1 erhöht. Gleichzeitig ist das Verfahren sehr günstig ausführbar, da für die Darstellung des Bereichs unterhalb des Fahrzeugs nur ein geringer Teil der erfassten Umfelddaten, nämlich die Überfahrdaten, gespeichert werden muss.
-
Nachfolgend werden weitere Aspekte der Erfindung kurz erläutert:
Es wird Ihnen als Fahrer ein Videobild zu dem Bereich unter Ihrem Fahrzeug gezeigt das wertig aussieht wie ein Kamerabild. So, als gebe es ein Fenster zum Unterboden. Dann können Sie in bestimmten Verkehrssituationen „durch den Unterboden“ sehen wie in einem Aquarium-Boot. Die virtuelle Perspektive des Videobilds kann derart gewählt sein oder derart vom Nutzer eingestellt werden, dass diese ein „durchsichtiges Fahrzeug“ anmutet, z.B. als wäre das Fahrzeug nicht da oder durchsichtig und der Beobachter würde den Geländebereich aus 1–3 Meter Höhe senkrecht oder unter einem bequemen (gewünschten) Winkel sehen.
-
Auch kann die resultierende für den Fahrer bzw. Nutzer sichtbare Darstellung automatisch in einer dreidimensionalen, sogenannten Top-View bzw. Surround-View oder andere Fahrerassistenzsysteme integriert werden. Das Verfahren kann eine Basis auch zur Darstellung augmentierter Grafiken in das Unterbodenbild sein.
-
Besonders bevorzugt werden dem Fahrer die aktuelle Position und/oder Ausrichtung seiner eigenen Reifen innerhalb des Bilds gezeigt. Diese werden in der Erfindung in die Darstellung (in das virtuelle Video) an den entsprechenden Stellen augmentiert bzw. integriert. Die Reifen können dabei zumindest teilweise teiltransparent (teil-durchsichtig) oder als Konturen dargestellt werden, sodass diese möglichst keine Nutzinformation der Darstellung nicht wesentlich verdecken.
-
Weitere Aspekte der Erfindung A1 bis A9 nachstehend beschrieben. Diese sind mit weiteren oben beschriebenen Merkmalen der Erfindung frei kombinierbar.
-
A1. Verfahren zur Darstellung eines Geländebereichs unter einem Fahrzeug, bei dem:
- • Daten zu einem ersten Teil der Darstellung erzeugt werden zu einem ersten Geländeteil, der in der nahen Zukunft mit einer gewissen Wahrscheinlichkeit unter dem Fahrzeug sein wird;
- • Ausgabe einer Darstellung der Daten zu einem ersten Teil der Darstellung auf einer Anzeigevorrichtung, wobei die Zuordnung der Daten zu bestimmten Bereichen der Darstellung abhängig von den Bewegungsdaten des Fahrzeugs erfolgt.
-
Die Daten zum ersten Teil der Darstellung können Kamerabilder oder ein bereits fertig zusammengesetztes Umgebungsbild sein, welches auf eine bekannte Weise (mit den Kameras des Fahrzeugs vorne, hinten oder in den Spiegeln) erzeugt wird. Es können Einzelbilder oder Bildsequenzen sein. Der Unterschied ist zum Stand der Technik ist, dass hier die Daten der Umgebungssensorik (z.B. Frontsensorik, z.B. Kamera) des Fahrzeugs für einen bestimmten Teil der Umgebung erstmal z.B. Abschnittsweise zwischengespeichert werden.
-
Später, wenn sich das Fahrzeug über den bestimmten Geländeteilen fahren bzw. befinden wird, werden die aufgenommenen Daten anhängig von der Bewegung des Fahrzeugs auf den Bereich zumindest teilweise unter dem Fahrzeug gemappt (fortgesetzt, ausgestreckt) werden.
-
Es können zunächst Daten erzeugt werden zu einem ersten Geländeteil, der in der nahen Zukunft mit einer gewissen Wahrscheinlichkeit unter dem Fahrzeug sein werden. Im einfachsten Fall wird das Gelänge in der Umgebung des Fahrzeugs mit zumindest zwei Kameras „eingescannt“ und zwischengespeichert. Erfindungsgemäß kann eine Zwischenspeicherung (Aufzeichnung) nur auf vorausgewählte Daten angewandt werden, die mit einer Wahrscheinlichkeit die ein bestimmtes Maß überschreiten demnächst unter dem Fahrzeug sein werden.
-
Daraufhin werden zur späteren Darstellung Daten ausgewählt, die zu der (dann tatsächlich ausgeführten) Bewegung des Fahrzeugs, z.B. zu einem (bestimmten) Rangiervorgang passen.
-
Idealerweise erfolgt die Darstellung des vom Fahrzeug, beispielsweise von der Fahrzeugkontur verdeckten Bereichs derart, dass lediglich kleine räumliche Abweichungen auftreten können.
-
Die ersten Daten können dabei aus Daten unterschiedlicher Fahrzeugsensoren (z.B. Vorderkamera des Fahrzeugs, seitliche Spiegelkameras, etc) erzeugt, insbesondere kombiniert wurden.
-
Die ersten Daten können derart aus Daten unterschiedlicher Sensoren zusammengesetzt werden, abhängig von:
- • Übereinstimmungsgrad zwischen den in den jeweiligen Daten repräsentierten Geländeteilen und den voraussichtlichen künftigen Positionen oder Bewegungsdaten des Fahrzeugs,
- • Datenqualität der Datenabschnitte,
- • Erfassungs-Perspektive des jeweiligen Geländeteil,- Alter der jeweiligen Daten bzw. Datenabschnitte, etc.
-
Übrige zwischengespeicherte Daten können, z.B. beim Entfernen von der aktuellen Fahrzeugposition (Rangierstelle) gelöscht werden. Die ersten Daten können aus Daten perzeptiver Sensoren: Kamera, Infrarotkamera, TOF-Sensorik (Time-Of-Flight), Laser-Scanner, Ultraschallsensorik, Radarsensorik ermittelt werden.
-
A2. Verfahren nach einem der vorangegangenen Aspekte, bei dem Daten zu einem zweiten Teil der Darstellung erzeugt werden zu einem zweiten Geländeteil, der aktuell oder in der nahen Zukunft nicht vom Fahrzeug besetzt wird, und Zusammenführen von den ersten und zweiten Daten, abhängig von der geometrischen Relation zwischen dem ersten Geländebereich und dem zweiten Geländeteil.
-
Die Daten zu einem zweiten Teil der Darstellung können das Umgebungsbild außerhalb des vom Fahrzeug besetzten Bereichs aus Daten zumindest zweier Sensoren, z.B. Kameras sein. Diese können z.B. der bekannten Top-View-Darstellung entsprechen; Diese müssen nicht zeitlich verzögert oder zwischengespeichert werden. Diese können (sollten) möglichst in Echtzeit wiedergegebenen werden oder zur Anpassung des bestimmten zeitlichen Versatzes geringfügig zeitlich angepasst werden.
-
Bevorzugt wird dabei ein passendes „zeitliches und räumliches“ Zusammenführen zumindest eines Umgebungsbilds von dem vom Fahrzeug besetzten Bereich und eines vom Fahrzeug nicht besetzten Bereichs ausgeführt.
-
A3. Verfahren nach dem vorangegangenen Aspekte, bei dem die geometrische Relation abhängig von einer, insbesondere resultierenden, Bewegung des Fahrzeugs im Zeitintervall zwischen der Erzeugung der ersten Daten und Ausgabe der ersten Daten ermittelt wird.
-
Hier sind hauptsächlich die „gespeicherte Bewegungsdaten“, die z.B. eine Positionsveränderung insgesamt aus mehreren Bewegungen repräsentieren, z.B. umfassend eine resultierende Verschiebung und Veränderung der Ausrichtung des Fahrzeugs repräsentieren gemeint. Dabei können sich die „resultierenden“ Bewegungsdaten auf die Bewegungsdaten zwischen dem Ermitteln der ersten Daten und der Ausgabe der ersten Daten beziehen.
-
Technisches Problem: Die ersten Daten stammen (im Vergleich zu den zweiten Daten) aus einer nahen Vergangenheit; Die Bilder zu dem ersten Teil der Umgebung sind mit einer hohen Wahrscheinlichkeit bei einer anderen Geschwindigkeit aufgenommen, als diese später abgespielt werden müssen, damit diese zu der realen Bewegung des Fahrzeugs passen!
-
A4. Verfahren nach einem der vorangegangenen Aspekte, bei dem ein zeitlicher Versatz zwischen der Anzeige einzelner Bilder aus den ersten Daten zu einem ersten Teil der Umgebung abhängig von den aktuellen Bewegungsdaten des Fahrzeugs erfolgt.
-
Dabei kann ein solcher, insbesondere variabler zeitlicher Versatz zwischen den ersten Daten und den zweiten Daten, insbesondere zwischen den einzelnen Bildern aus den ersten Daten erzeugt werden, dass die Bewegung des Fahrzeugs in Relation zu dem Gelände mit einer im Wesentlichen realitätsnahen Geschwindigkeit und/oder Ausrichtung erfolgt.
-
Der für ein jeweiliges Einzelbild oder eine Gruppe von Bildern erforderliche zeitliche Versatz kann aus der Position und/oder Bewegung, insbesondere von Relativbewegung von Texturen oder unbeweglicher Objekte im ersten Teil der Darstellung bzw. im zweiten Teil der Darstellung ermittelt werden.
-
Vereinfachte Erklärung: das Anzeigen der Einzelbilder des Videos erfolgt z.B. abhängig von den Radsensoren.
-
Alternativ kann auch ein jeweiliger Zeitversatz zur Anzeige jeweiliger Einzelbilder oder einer Gruppe von Bildern aus den ersten Daten ODER eine Abspielgeschwindigkeit der ersten Daten ermittelt werden.
-
Dies kann auch aus der Position und/oder Bewegung, insbesondere von Relativbewegung von Texturen oder unbeweglicher Objekte im ersten Teil der Darstellung bzw. im zweiten Teil der Darstellung ermittelt werden.
-
A5. Verfahren nach einem der vorangegangenen Aspekte, bei dem Daten zu einem zweiten Teil der Darstellung erzeugt werden, repräsentierend einen zweiten Geländeteil in der Umgebung des Fahrzeugs, der nicht vom Fahrzeug besetzt wird, und Zusammenführen von den ersten und der zweiten Daten, abhängig von der Position und/oder Bewegung, insbesondere von Relativbewegung von Texturen oder unbeweglicher Objekte in den ersten und/oder zweiten Teil der Umgebung.
-
Dabei können die Einzelbilder aus den ersten Daten, repräsentierend den ersten Teil der Umgebung abhängig von den Zeitpunkten abgerufen werden, zu welchen eine Übereinstimmung der Position oder Bewegung von Texturen der Umgebung mit den zweiten Daten, repräsentierend den zweiten Teil der Umgebung festgestellt wird.
-
Dabei kann ein solcher, insbesondere variabler zeitlicher Versatz zwischen den ersten Daten und den zweiten Daten, insbesondere zwischen den einzelnen Bildern aus den ersten Daten erzeugt werden, dass eine Relativbewegung eines stehenden Objekts oder einer stehenden Textur in der Anzeige im ersten Teil der Darstellung und im zweiten Teil der Darstellung passend zueinander erfolgt.
-
Bei dieser Variante des Verfahrens müssen die zweiten Daten übrigens nicht unbedingt angezeigt werden; diese können auch ausschließlich zur Orientierung und einer zeitlichen Zuordnung der Bilder aus den ersten Daten dienen!
-
Im Endergebnis (Ansprüche 3–6) werden die Bilder der ersten Teils der Darstellung auch noch passend durch das Bild bewegt, damit die Bewegungsvektoren und ggf. Drehung der ersten und der zweiten Darstellung passend zueinander sind.
-
Dies kann im Verfahren z.B. derart erfolgen, dass solche Daten zu einem ersten Teil der Darstellung ausgewählt und mit einer solchen Ausrichtung dargestellt, dass diese räumlich und zeitlich zu den dargestellten zweiten Daten passen. Dabei werden diese auch mit der passenden „Geschwindigkeit“ durch das Bild bewegt.
-
A6. Verfahren nach einem der vorangegangenen Aspekte, bei dem
- • eine Anzeige des ersten Teils der Darstellung oder der gesamten Darstellung abhängig von den vorausbestimmten Bedingungen erfolgt, die insbesondere abhängig sind vom:
- • Befahren einer Offroad-Strecke bzw. eines Offroad-Bereichs er Umgebung mit zumindest einem Rad des Fahrzeugs die stattfindet oder kurz bevorsteht, und/oder
- • einem erfolgten oder kurz bevorstehenden Annähern oder Überfahren einer Geländekrümmung, die ein vorausbestimmtes Maß überschreitet, und/oder
- • beim Erkennen vertikaldynamischer Einflüsse auf das Fahrzeug, die ein vorausbestimmtes Maß überschreiten oder einem vorausbestimmten Muster entsprechen;
-
Die erste vorausbestimmte Bedingung kann dabei anhängig von den Daten eines Navigationssystems und/oder der Fahrzeugsensorik, insbesondere Inertialsensorik, Kamerasensorik oder Vertikaldynamik-Sensorik ermittelt werden. Auch kann ein Bedienelement ausgelesen werden.
-
Die zweite vorausbestimmte Bedingung kann abhängig von der sensorischen Erfassung einer Geländekrümmung ermittelt werden.
-
Die beiden vorausbestimmten Bedingungen sind in dieser Erfindung ziemlich wichtig, denn in vielen anderen Use-Cases wäre das Erzeugen einer solchen Anzeige ein eine eher störende, redundante Information die auch noch die Rechenressourcen frisst. Die Geländekrümmungen können z.B. Bordsteine, Schlaglöcher, Wölbungen (auch Wellen), unbewegliche auf dem Gelände liegende Objekte etc. sein.
-
A7. Verfahren nach einem der vorangegangenen Aspekte, umfassend Einblenden von einem oder mehreren grafischen Elementen, zumindest in den ersten Teil der Darstellung, repräsentierend zumindest eine aktuelle Ausrichtung und/oder eine vorausgesagte künftigen Reifenposition von den Vorderräder des Fahrzeugs, insbesondere repräsentierend eine vorausermittelte Trajektorie der des Fahrzeugs;
-
Ein wesentliches Merkmal des Resultats: Es wird eine Darstellung aus Daten, die aus einer nahen Vergangenheit stammen und einer Grafik, (z.B. eine vorausermittelte Trajektorien) die sich auf die nahe Zukunft bezieht, innerhalb einer Anzeige und des aktuellen Zeitpunkts kombiniert. Dies erfolgt bevorzugt so, dass die zeitlichen und räumlichen Gegebenheiten zu mehreren Zeitpunkten in der nahen Zukunft minimale Abweichung von der dann gültigen Realität, insbesondere räumlichen Verhältnissen ergeben.
-
A8. (Besonders relevant bei Fahrzeugen mit einer Hinter-Achs-Lenkung!) Verfahren nach einem der vorangegangenen Aspekte, umfassend Einblenden von einem oder mehreren grafischen Elementen, zumindest in den ersten Teil der Darstellung, repräsentierend zumindest eine aktuelle Ausrichtung und/oder eine vorausgesagte künftigen Reifenposition von den Hinterräder des Fahrzeugs, insbesondere repräsentierend eine vorausermittelte Trajektorie der Hinterräder des Fahrzeugs;
-
Dabei können Sie z.B. sehen in welcher räumlichen Relation sich Ihre Hinterreifen, z.B. im Bezug auf einen Geländeartefakt, z.B. Bordstein steht UND wie eine voraussichtliche räumliche Relation bei einem bestimmten Lenkeinschlag sein wird.
-
A9. Verfahren zur Darstellung eines Geländebereichs unter einem Fahrzeug, bei dem:
- • Daten zu einem ersten Teil der Darstellung erzeugt werden zu einem ersten Geländeteil, der in den nahen Zukunft unter dem Fahrzeug sein wird;
- • Daten zu einem zweiten Teil der Darstellung erzeugt werden, repräsentierend einen zweiten Geländeteil in der Umgebung des Fahrzeugs, der nicht vom Fahrzeug besetzt wird;
- • eine Kombination aus einer Darstellung eines Teils der Daten und Darstellung der zweiten Daten auf einer Anzeige derart, dass das der erster Geländeteil und der zweiter Geländebereich sich in einer vordefinierten räumlichen Relation zu mehreren Zeitpunkten dargestellt werden.
-
Diese unabhängige Variante setzt allerdings voraus, dass auch der zweite Geländeteil dargestellt wird.
-
Nachfolgend sind die vorausbestimmten Bedingungen, hier als Aktivierungs- bzw. Deaktivierungskriterien beispielhaft angeführt:
-
Vorausbestimmte Bedingungen 1:
-
Mit Mitteln des Fahrzeugs ermittelt wird, dass ein das Befahren einer Offroad-Strecke stattfindet oder bevorsteht;
-
Dies kann anhängig von den Daten eines Navigationssystems und/oder der Fahrzeugsensorik, insbesondere Inertialsensorik, Kamerasensorik oder Vertikaldynamik-Sensorik ermittelt werden. auch kann ein Bedienelement ausgelesen werden.
-
Vorausbestimmte Bedingung 2:
-
Mit Mitteln des Fahrzeugs ermittelt wird, dass ein Überfahren einer Geländekrümmung die ein vorausbestimmtes Maß überschreitet in der nahen Zukunft bevorsteht.
-
Die beiden vorausbestimmten Bedingungen sind in dieser Erfindung ziemlich wichtig, denn in vielen anderen Use-Cases wäre das Erzeugen einer solchen Anzeige ein eine eher störende, redundante Information die auch noch die Rechenressourcen frisst.
-
Vorausbestimmte Bedingung 3:
-
Vertikaldynamiksensoren und/oder Inertialsensoren des Fahrzeugs erfassen bzw. erkennen einen verhältnismäßig starken Einfluss, z.B. eine deutlich veränderte (ungleichmäßige) Krafteinwirkung auf zumindest ein Rad des Fahrzeugs und/oder ein die Wanken oder Nicken des Fahrzeugs.
-
Vorausbestimmte Bedingung 4:
-
Erkennen eines Bedienungsaktion des Fahrers, insbesondere eines Bedienungs-Musters, bei dem insbesondere von einem beabsichtigten Park- oder Rangier, oder Wendemanöver ausgegangen werden kann.
-
Dabei ergeben sich unter Anderem folgende Vorteile:
- • Orientierung und Unterstützung beim Einparken und Rangieren.
- • Unterstützung beim Befahren von Offroad-Strecken ohne aufwändige Aufrüstung des Fahrwerks des Fahrzeugs. Verbesserung der subjektiven und subjektiven Sicherheit
- • Felgenschutz, Reifenschutz, Unterbodenschutz.
- • Das Ausgeben bzw. Bereitstellen der Bilder bzw. Bildfolgen kann auch automatisch situationsabhängig aktivierbar bzw. verfügbar gemacht werden.
- • Reduktion der für das Verfahren benötigter Hardwareressourcen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Vorrichtung
- 3
- Kamera
- 4
- Umfelddaten
- 5
- erster Umfeldbereich (Überfahrdaten)
- 6
- Fahrzeuguntergrunddaten
- 7
- Peripheriedaten
- 8
- Randdaten