-
Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bilddarstellung von zumindest einem Teil einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung, wobei die Umgebung des Kraftfahrzeugs zumindest teilweise mittels mindestens eines Kraftfahrzeugsensors erfasst wird und eine Bilddarstellung von zumindest einem Teil der erfassten Umgebung innerhalb eines definierten Ansichtsfensters aus einer bestimmten Perspektive bereitgestellt wird, wobei die Bilderstellung eine Kraftfahrzeugdarstellung, welche das Kraftfahrzeug repräsentiert, umfasst. Darüber hinaus wird die Bilddarstellung auf der Anzeigeeinrichtung angezeigt. Die Erfindung betrifft auch ein Computerprogrammprodukt und ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Bereitstellen einer Bilddarstellung von zumindest einem Teil einer Umgebung des Kraftfahrzeugs.
-
Es sind Systeme aus dem Stand der Technik bekannt, welche es bewerkstelligen, zum Beispiel eine 360-Grad-Rundumsicht eines Kraftfahrzeugs bereitzustellen, welche auf einer Anzeigeeinrichtung des Kraftfahrzeugs angezeigt werden kann, um dem Fahrer zum Beispiel beim Parken des Kraftfahrzeugs zu assistieren. Zu diesem Zweck kann zum Beispiel eine Draufsicht auf die 360-Grad-Umgebung des Kraftfahrzeugs einschließlich einer Kraftfahrzeugdarstellung, zum Beispiel ein zweidimensionales Bitmap-Bild des Kraftfahrzeugs selbst, in einer planaren Ansicht gezeigt werden. Auch sind Systeme bekannt, die in der Lage sind, ein 3D-Kraftfahrzeugmodell bereitzustellen, welches eine dynamische Änderung der Perspektive auf die angezeigte Szene erlaubt. Üblicherweise wird zum Erfassen der Umgebung zum Zwecke der Bereitstellung einer solchen Visualisierung ein Kamerasystem des Kraftfahrzeugs mit mehreren Kameras verwendet. In solchen Multikamera-Kraftfahrzeugsichtsystemen können verschiedene Arten von Ansichten unter Verwendung mehrerer Kamerabilder erzeugt werden. Im Rahmen einer solchen Visualisierung mit mehreren Kameras und einer elektronischen Recheneinheit werden die Kamerarohbilder zuerst auf ein Zielansichtsfenster abgebildet und zusammengefügt, wodurch somit ein Mosaikbild erzeugt wird, welches die Ansicht aus einem bestimmten 3D-Punkt irgendwo in der Umgebung des Kraftfahrzeugs darstellt. Im einfachsten Fall ist die virtuelle Kamera über dem Kraftfahrzeug positioniert und schaut von der oberen zentralen Position hinab und die projektive Oberfläche ist eine flache, zweidimensionale Ebene. Diese Ansicht wird üblicherweise als Draufsicht wie oben erwähnt bezeichnet. Allgemeinere Fälle schließen zum Beispiel eine Kugelansicht ein, bei welcher die projektive zweidimensionale Oberfläche eine Kugelform hat und eine virtuelle Kamera oder ein virtueller Blickpunkt in einer beliebigen Position des dreidimensionalen Raums positioniert ist.
-
Obwohl es möglich ist, die Perspektive auf die Umgebungsszene einschließlich der Kraftfahrzeugdarstellung zu ändern, kann es dennoch passieren, dass aus einer bestimmten gewählten Perspektive Teile der Umgebung, die möglicherweise relevante Informationen aufweisen, außerhalb des definierten Ansichtsfensters liegen und daher nicht angezeigt werden und nicht vom Benutzer gesehen werden können. Dies kann zu sehr kritischen Situationen führen. Um sicherzustellen, dass der Benutzer nicht irgendwelche relevanten Informationen übersieht, könnte der Benutzer die Perspektive der Darstellung ringsum das Kraftfahrzeug ändern. Jedoch wäre dies sehr zeitaufwendig und beschwerlich für den Benutzer. Folglich ändern die meisten Benutzer aus Bequemlichkeit die Perspektive nicht die ganze Zeit, um sicherzustellen, dass keine relevanten Informationen übersehen wurden. Dies kann wiederum zu sehr kritischen Situationen führen.
-
Daher ist es Aufgabe der vorliegenden Erfindung, ein Verfahren zum Bereitstellen einer Bilderstellung von zumindest einem Teil einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung, ein Computerprogrammprodukt und ein Fahrerassistenzsystem bereitzustellen, mittels welchen das Risiko, wichtige Umgebungsinformationen zu übersehen, reduziert werden kann.
-
Diese Aufgabe wird gelöst durch ein Verfahren, durch ein Computerprogrammprodukt und durch ein Fahrerassistenzsystem mit den Merkmalen gemäß den korrespondierenden unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Gemäß einem erfindungsgemäßen Verfahren zum Bereitstellen einer Bilddarstellung von mindestens einem Teil einer Umgebung eines Kraftfahrzeugs auf einer Anzeigeeinrichtung wird die Umgebung des Kraftfahrzeugs zumindest teilweise mittels mindestens eines Kraftfahrzeugsensors erfasst und eine Bilddarstellung von mindestens einem ersten Teil der erfassten Umgebung innerhalb eines definierten Ansichtsfensters aus einer definierten Perspektive bereitgestellt, wobei die Bilddarstellung eine Kraftfahrzeugdarstellung, die das Kraftfahrzeug repräsentiert, umfasst. Darüber hinaus wird die Bilddarstellung auf der Anzeigeeinrichtung angezeigt. Weiterhin wird beim Bereitstellen der Bilddarstellung mindestens ein zweiter Teil der erfassten Umgebung in Form eines Spiegelbildes des mindestens einen zweiten Teils der Umgebung auf einem definierten Bereich der Kraftfahrzeugdarstellung dargestellt.
-
Somit kann vorteilhafterweise ein Teil der Umgebung, nämlich der mindestens eine zweite Teil der Umgebung, als Spiegelung auf einem definierten Bereich des Kraftfahrzeugs, zum Beispiel einem Fenster der Kraftfahrzeugdarstellung, dargestellt werden. Dies hat mehrere große Vorteile. Zuerst ist es dadurch möglich, dass ein Teil der Umgebung, der eigentlich aus der aktuell gewählten Perspektive nicht gesehen werden könnte, dennoch für einen Benutzer auf der Anzeigeeinrichtung in Form der Spiegelung, nämlich dem Spiegelbild, auf zumindest einem Teil der Kraftfahrzeugdarstellung sichtbar gemacht werden kann. Folglich kann gleichzeitig eine zusätzliche Information über die Umgebung des Kraftfahrzeugs für eine definierte Perspektive und ein definiertes Ansichtsfenster angezeigt werden. Dadurch kann das Risiko, dass wichtige Informationen in der Umgebung des Kraftfahrzeugs durch den Fahrer übersehen werden, enorm verringert werden. Zum Beispiel im Fall, dass die Umgebungsszene einschließlich der Kraftfahrzeugdarstellung auf der Anzeigeeinrichtung aus einer Perspektive angezeigt wird, die von hinten auf die Kraftfahrzeugdarstellung schaut, und im Fall, dass der Fahrer aktuell ein Einparkmanöver zum rückwärts Einparken des Kraftfahrzeugs in eine Parklücke hinter dem Kraftfahrzeug durchführt, dann kann üblicherweise die Parklücke selbst aus der beschriebenen Perspektive, die von hinten auf die Kraftfahrzeugdarstellung blickt, nicht gesehen werden, da aus einer solchen Perspektive im Wesentlichen nur Umgebungsinformationen vor dem Kraftfahrzeug angezeigt werden. Jedoch ist es nun mittels der Erfindung möglich, die Parklücke hinter dem Kraftfahrzeug und den umgebenden Bereich dennoch als Reflexion auf der Heckscheibe der Kraftfahrzeugdarstellung zu sehen, insbesondere zusätzlich zur Darstellung des Teils der Umgebung vor dem Kraftfahrzeug. Dadurch kann mittels der Erfindung der Fahrer oder der Nutzer mit viel mehr relevanten Informationen über die Kraftfahrzeugumgebung versorgt werden, was eine deutlich bessere Unterstützung in verschiedenen Fahr- oder Parksituationen bereitstellt und dadurch die Sicherheit enorm erhöht.
-
Ein weiterer großer Vorteil der Erfindung ist es, dass dieser zweite Teil der Umgebung in Form eines Spiegelbildes oder Reflexion auf dem definierten Bereich der Kraftfahrzeugdarstellung angezeigt wird. Einerseits können durch das Bereitstellen dieses Spiegelbildes auf einem Teil der Kraftfahrzeugdarstellung möglicherweise wichtige Informationen, die durch den mindestens einen ersten Teil der erfassten Umgebung bereitgestellt werden, nicht durch das Spiegelbild verdeckt werden. Andererseits kann durch das Bereitstellen der Information über den zweiten Teil der Umgebung in Form einer Reflexion oder eines Spiegelbildes ein natürlicher Eindruck der Lichtreflexion für den Benutzer erreicht werden, sodass diese zusätzliche Information in einer sehr natürlichen und realistischen Art und Weise bereitgestellt wird und daher sehr einfach und intuitiv für den Benutzer erfassbar ist. Dies wiederum resultiert in weniger Ablenkung oder Irritation des Benutzers und dadurch kann ebenfalls die Sicherheit erhöht und das Risiko, wichtige Informationen zu übersehen, wiederum reduziert werden. Darüber hinaus unterstützt diese Art der realistischen Darstellung den Fahrer dabei zu erkennen, dass dieser zusätzlich angezeigte Inhalt, der in Form des Spiegelbildes dargestellt wird, tatsächlich eine Spiegelung oder ein Spiegelbild des zweiten Teils der Umgebung darstellen soll, was sehr hilfreich ist, um in der Lage zu sein, diesen zweiten Teil der Umgebung, der durch das Spiegelbild dargestellt wird, korrekt relativ zum Kraftfahrzeug zu lokalisieren.
-
Vorzugsweise ist der mindestens eine Kraftfahrzeugsensor als Kamera ausgebildet. Darüber hinaus ist es bevorzugt, dass das Kraftfahrzeug mehrere Kameras aufweist, insbesondere mit einem gesamten Sichtfeld von 360 Grad. Die von diesen Kameras erfassten Umgebungsbilder können dann zusammengefügt und auf ein definiertes Ansichtsfenster aus einer gewählten Perspektive wie oben beschrieben abgebildet werden. Jedoch kann im Allgemeinen der mindestens eine Kraftfahrzeugsensor als jeder beliebige Kraftfahrzeugsensor ausgebildet sein, wie ein Laserscanner, ein Ultraschallsensor und/oder ein Radar. Mittels all dieser Sensoren kann eine Darstellung der Umgebung des Kraftfahrzeugs oder zumindest eines Teils davon durch geeignete Verarbeitung der erfassten Sensordaten bereitgestellt werden, um eine Bilddarstellung der erfassten Umgebungsinformation bereitzustellen.
-
Weiterhin stellt das Spiegelbild ein Bild des mindestens einen zweiten Teils der Umgebung dar, welches in vorbestimmter Weise, zum Beispiel gemäß dem physikalischen Reflexionsgesetz oder auch mit definierten Abweichungen von dem physikalischen Reflexionsgesetz, was später detaillierter beschrieben wird, gespiegelt wurde, insbesondere rechnerisch gespiegelt wurde.
-
Darüber hinaus unterscheidet sich gemäß einer bevorzugten Ausführungsform der Erfindung der zweite Teil der Umgebung zumindest zum Teil vom ersten Teil der Umgebung. Mit anderen Worten sind mittels des Spiegelbildes Teile der Umgebung des Kraftfahrzeugs sichtbar, die sonst aus der definierten Perspektive auf dem definierten Ansichtsfenster nicht sichtbar wären. So können vorteilhafterweise dem Fahrer oder Benutzer des Kraftfahrzeugs zusätzliche Informationen über seine Umgebung zur Verfügung gestellt werden und die Gefahr, wichtige Informationen zu übersehen, kann reduziert werden.
-
Weiterhin ist es sehr vorteilhaft, wenn der definierte Bereich der Kraftfahrzeugdarstellung einen Teil der Kraftfahrzeugdarstellung darstellt, welcher sich auf ein Fenster des Kraftfahrzeugs, insbesondere eine Frontscheibe und/oder eine Heckscheibe und/oder ein Dachfenster und/oder ein Seitenfenster bezieht. Dadurch kann die natürliche Erscheinung der Kraftfahrzeugdarstellung trotz der zusätzlichen Anzeige des Spiegelbildes erhalten werden und das Risiko einer möglichen Ablenkung oder Irritation des Benutzers kann reduziert werden. Nichtsdestoweniger kann im Allgemeinen das Spiegelbild auf jedem beliebigen Teil der Kraftfahrzeugdarstellung bereitgestellt werden, zum Beispiel auf Teilen, die eine Tür des Kraftfahrzeugs oder eine Kofferraumklappe repräsentieren.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird das Spiegelbild in Abhängigkeit von der definierten Perspektive und/oder einer definierten Geometrie einer Spiegelebene, die dem definierten Bereich der Kraftfahrzeugdarstellung zugeordnet ist, auf welchem das Spiegelbild angezeigt wird, und/oder in Abhängigkeit von der Position und/oder Orientierung der Spiegelebene relativ zur definierten Perspektive bestimmt. Dadurch kann eine sehr natürliche Erscheinung des Spiegelbildes erreicht werden, da diese Abhängigkeiten zu den Gesetzmäßigkeiten realer Spiegelungen korrespondieren. Mit anderen Worten hängt, welcher zweite Teil der Umgebung mittels des Spiegelbildes dargestellt wird, von der Position der definierten Perspektive sowie von der Neigung der Oberfläche der Kraftfahrzeugdarstellung, zum Beispiel der Geometrie und Oberflächenneigung der Fenster der Kraftfahrzeugdarstellung und der Position dieser virtuell reflektiven Oberflächen relativ zum virtuellen Blickpunkt, aus welchem die gesamte Szene letztendlich auf der Anzeigeeinrichtung angezeigt wird, ab.
-
Des Weiteren kann die Kraftfahrzeugdarstellung in Form eines zweidimensionalen Bildes des Kraftfahrzeugs, insbesondere eines Bitmap-Bildes, bereitgestellt werden, welches das Kraftfahrzeug aus der definierten Perspektive repräsentiert. Solch eine Kraftfahrzeugdarstellung in Form eines zweidimensionalen Bildes des Kraftfahrzeugs ist besonders vorteilhaft, zum Beispiel für eine Draufsicht. Aber auch andere Ansichten auf die Szene können in Form von mehreren verschiedenen definierten Perspektiven bereitgestellt sein. In diesem Fall kann für jede Perspektive ein jeweiliges zweidimensionales Bild definiert sein. Die Verwendung eines zweidimensionalen Bildes des Kraftfahrzeugs als Kraftfahrzeugdarstellung hat den Vorteil, insbesondere in Kombination mit der Darstellung des Spiegelbildes auf einem Teil der Kraftfahrzeugdarstellung, dass dies besonders wenig Rechenleistung erfordert. Somit kann für jede Perspektive eine korrespondierende Spiegelebene, die einem definierten Bereich der Kraftfahrzeugdarstellung zugeordnet ist, definiert sein und das Spiegelbild kann einfach aus der gegebenen Perspektive berechnet werden.
-
Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, wenn die Perspektive auf verschiedene vorbestimmte diskrete Perspektiven einstellbar ist, wobei für jede der vorbestimmten Perspektiven ein korrespondierendes zweidimensionales Bild des Kraftfahrzeugs gespeichert ist, wobei im Falle, dass sich die Perspektive ändert, das zweidimensionale Bild und das Spiegelbild korrespondierend geändert werden. Somit können vorteilhafterweise auch mit begrenzter Rechenleistung mehrere verschiedene Ansichten auf eine Szene bereitgestellt werden, die vorteilhafterweise mit zusätzlichen Informationen, die durch das Spiegelbild bereitgestellt werden, angereichert werden, insbesondere durch jeweilige Spiegelbilder, da der Inhalt des Spiegelbildes auch von der gewählten Perspektive abhängt.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Kraftfahrzeugdarstellung in Form eines Fahrzeugmodells bereitgestellt, wobei die Geometrie der Spiegelebene durch die Geometrie des definierten Bereichs des Fahrzeugmodells definiert ist, auf welchem das Spiegelbild angezeigt wird. Mit anderen Worten kann zur Berechnung einer realistischen Spiegelung der Umgebung auf einem Teil des Fahrzeugmodells einfach die Geometrie dieses Teils des dreidimensionalen Fahrzeugmodells für diese Berechnungen verwendet werden. Mittels der Verwendung eines dreidimensionalen Fahrzeugmodells als Kraftfahrzeugdarstellung, insbesondere in Kombination mit einem Spiegelbild, kann eine viel realistischere Visualisierung einer Szene, insbesondere eine dynamisch änderbare Visualisierung, bereitgestellt werden.
-
Daher stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, wenn die definierte Perspektive dynamisch einstellbar ist, wobei die Darstellung des Fahrzeugmodells und des Spiegelbildes dynamisch in Abhängigkeit von der dynamisch eingestellten Perspektive eingestellt werden. Dadurch kann Umgebungsinformation aus jedem beliebigen Blickpunkt im dreidimensionalen Raum bereitgestellt werden und vorteilhafterweise können kontinuierliche Übergänge zwischen verschiedenen Perspektiven bereitgestellt werden.
-
Darüber hinaus kann das Spiegelbild einerseits einfach basierend auf dem physikalischen Lichtreflexionsgesetz berechnet werden. Daher ist es eine weitere vorteilhafte Ausgestaltung der Erfindung, wenn das Spiegelbild basierend auf dem physikalischen Lichtreflexionsgesetz bestimmt wird. Dies hat eine sehr natürliche und realistische Erscheinung der letztendlich dargestellten Darstellung zur Folge. Andererseits kann es auch sehr vorteilhaft sein, wenn die Berechnung des Spiegelbildes nicht exakt dem physikalischen Lichtreflexionsgesetz folgt.
-
Daher stellt es eine weitere vorteilhafte Ausgestaltung der Erfindung dar, wenn das Spiegelbild basierend auf einer definierten Abweichung vom physikalischen Lichtreflexionsgesetz bestimmt wird. Zum Beispiel kann der auf der Kraftfahrzeugdarstellung als Reflexion anzuzeigende Inhalt vorbestimmt werden, zum Beispiel um andernfalls verdeckte Umgebungsszenen, hier zum Beispiel kritische Szenen aus fernen Ecken des Kraftfahrzeugs, zu zeigen. Zum Beispiel kann das Spiegelbild so berechnet werden, als ob Licht aus dem zweiten Teil der Umgebung zuerst durch eine bestimmte virtuelle Optik, wie eine virtuelle Linse, getreten wäre und dann durch die Spiegelebene auf den virtuellen Blickpunkt reflektiert wird. Die Ausgestaltung einer solchen virtuellen Optik definiert dann die bestimmte Abweichung. Dadurch können einem Benutzer noch mehr wichtige Informationen bereitgestellt werden.
-
Insbesondere ist es besonders vorteilhaft, wenn das Spiegelbild derart basierend auf einer definierten Abweichung vom physikalischen Lichtreflexionsgesetz bestimmt wird, dass ein Sichtfeld aus der definierten Perspektive auf den zweiten Teil der Umgebung, der durch das Spiegelbild repräsentiert wird, größer ist, als dieses im Falle wäre, wenn das Spiegelbild basierend auf dem physikalischen Lichtreflexionsgesetz ohne definierte Abweichung bestimmt worden wäre. Vorzugsweise wird das Sichtfeld insbesondere in der horizontalen Richtung vergrößert, nämlich senkrecht zur Hochachse des Kraftfahrzeugs, was in den meisten Fahrt- und Parksituationen besonders vorteilhaft ist. Um ein solch großes Sichtfeld zu erzeugen, können nicht nur die Eingangsdaten von nur einem einzelnen Sensor wie einer einzelnen Kamera verwendet werden, sondern die Berechnung des Spiegelbildes kann auch auf Umgebungsdaten, die von verschiedenen Sensoren, insbesondere verschiedenen, zum Beispiel benachbarten, Kameras, bereitgestellt wurden, basieren, und die jeweiligen bereitgestellten Umgebungsdaten können dann geeignet fusioniert und zusammengefügt werden. Das Spiegelbild kann berechnet werden, indem der Durchgang von Licht aus dem zweiten Teil der Umgebung durch eine virtuelle Linse modelliert wird, die zum Beispiel Fischaugencharakteristik in der horizontalen Richtung aufweist, sodass ein besonders großes Sichtfeld in der horizontalen Richtung bereitgestellt werden kann, und dann virtuell an der definierten Spiegelebene zum virtuellen Blickpunkt reflektiert wird.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der bestimmte Bereich der Kraftfahrzeugdarstellung in Abhängigkeit von einer Änderung der definierten Perspektive geändert. Wie oben beschrieben, ist es sehr vorteilhaft, wenn der definierte Bereich der Kraftfahrzeugdarstellung zum Beispiel ein Fenster der Kraftfahrzeugdarstellung darstellt. Da die Kraftfahrzeugdarstellung, wie ein übliches Auto, auch mehrere Fenster aufweist, wie zum Beispiel eine Frontscheibe, eine Heckscheibe, Seitenfenster und möglicherweise ein Dachfenster, ist es möglich, all diese Fensterdarstellungen der Kraftfahrzeugdarstellung als den definierten Bereich, auf welchem letztendlich das Spiegelbild, oder auch mehrere jeweilige Spiegelbilder gleichzeitig, angezeigt wird, zu verwenden. Jedoch sind möglicherweise abhängig von der Perspektive manche dieser Fensterdarstellungen in einer günstigeren Position als andere, um als Spiegelebene verwendet zu werden. Zum Beispiel ist es, wenn eine Bilddarstellung aus einer Perspektive angezeigt wird, die von hinten auf die Kraftfahrzeugdarstellung blickt, dann die Verwendung der Heckscheibe als Spiegelebene, um das Spiegelbild anzuzeigen, geeigneter, als beispielsweise die Windschutzscheibe zu verwenden, insbesondere da aus einer solchen Perspektive die Windschutzscheibe der Kraftfahrzeugdarstellung möglicherweise noch nicht einmal sichtbar ist. Somit kann gemäß dieser vorteilhaften Ausgestaltung der Erfindung auch der Bereich der Kraftfahrzeugdarstellung, auf welchem das Spiegelbild angezeigt werden soll, vorteilhafterweise in Abhängigkeit von der Perspektive gewählt werden. Vorzugsweise wird, wenn die Perspektive von hinten auf die Kraftfahrzeugdarstellung blickt, dann die Heckscheibe der Kraftfahrzeugdarstellung als bestimmter Bereich der Kraftfahrzeugdarstellung verwendet, falls die Perspektive irgendwo von vorne auf die Kraftfahrzeugdarstellung blickt, dann weist der definierte Bereich die Frontschutzscheibendarstellung der Kraftfahrzeugdarstellung auf. Im Fall, dass die definierte Perspektive irgendwo von der Seite auf die Kraftfahrzeugdarstellung blickt, dann stellt vorzugsweise eines der Seitenfenster der Kraftfahrzeugdarstellung den definierten Bereich der Kraftfahrzeugdarstellung dar, und im Falle einer Draufsicht stellt der definierte Bereich zumindest die Heckscheibe und die Windschutzscheibe der Kraftfahrzeugdarstellung dar und optional auch die Seitenfenster der Kraftfahrzeugdarstellung. Vorteilhafterweise kann ein Benutzer nun durch Variation der Perspektive der Bilddarstellung nicht nur die Ansicht auf die Umgebung ändern, die die Kraftfahrzeugdarstellung umgebend dargestellt wird, sondern auch die Ansicht auf den zweiten Teil der Umgebung, der als Reflexion auf zumindest einem Teil der Kraftfahrzeugdarstellung repräsentiert wird.
-
Gemäß einer weiteren vorteilhaften Ausgestaltung der Erfindung ist ein Reflexionsgrad des Spiegelbilds einstellbar, wobei das Spiegelbild und der bestimmte Bereich der Kraftfahrzeugdarstellung in Abhängigkeit von dem eingestellten Reflexionsgrad überblendet werden. Dabei kann der Reflexionsgrad automatisch eingestellt werden, zum Beispiel in Abhängigkeit von der Fahrsituation. Zum Beispiel kann in einer normalen Fahrsituation der Reflexionsgrad auf 20 Prozent gesetzt werden, was bedeutet, dass auf den bestimmten Bereich der Kraftfahrzeugdarstellung 20 Prozent des Spiegelbildes sichtbar sind und 80 Prozent des definierten Bereichs der Kraftfahrzeugdarstellung selbst, zum Beispiel die Fensterdarstellung. Ein Reflexionsgrad von 0 Prozent bedeutet dann, dass kein Spiegelbild angezeigt wird und nur der definierte Bereich der Kraftfahrzeugdarstellung sichtbar ist, und ein Reflexionsgrad von 100 Prozent bedeutet dann, dass nur das Spiegelbild sichtbar ist, wie ein ideal reflektierender Spiegel, aber nichts vom Teil des Kraftfahrzeugs, der im definierten Bereich der Kraftfahrzeugdarstellung repräsentiert wird. Beim Einparken in eine Parklücke, wo Umgebungsinformationen viel bedeutsamer sind als in normalen Fahrsituationen, kann der Reflexionsgrad erhöht werden, sodass ein Benutzer nun die Umgebungsinformation, die durch das Spiegelbild repräsentiert wird, einfach erfassen kann. Jedoch kann der Reflexionsgrad auch durch den Benutzer selbst einstellbar sein. Zum Beispiel kann der Reflexionsgrad zwischen 0 und 100 Prozent eingestellt werden. Dies ist sehr vorteilhaft, da dadurch ein Benutzer den Reflexionsgrad gemäß seinen Vorlieben einstellen kann. Gleichzeitig kann dem Benutzer auch eine Option zum An- oder Ausschalten dieser Glasreflexionsfunktion bereitgestellt werden. Im Falle, dass der Benutzer die Anzeige des Spiegelbildes abstellt, werden dann die Kraftfahrzeugdarstellung, insbesondere der definierte Bereich, zum Beispiel die Fenster der Kraftfahrzeugdarstellung, zum Beispiel transparent oder nur mit sehr geringfügigen Szenenreflexionen dargestellt.
-
Die Erfindung betrifft auch ein Computerprogrammprodukt aufweisend Programmcode, der in einem computerlesbaren Medium gespeichert ist und welcher, wenn dieser durch einen Prozessor einer elektronischen Steuereinrichtung ausgeführt wird, den Prozessor dazu veranlasst, eine Bilddarstellung von zumindest einem ersten Teil einer erfassten Umgebung eines Kraftfahrzeugs innerhalb eines definierten Ansichtsfensters aus einer definierten Perspektive bereitzustellen, wobei die Bilddarstellung eine Kraftfahrzeugdarstellung, welche das Kraftfahrzeug repräsentiert, umfasst, und die Bilddarstellung auf einer Anzeigeeinrichtung anzuzeigen. Darüber hinaus veranlasst das Computerprogrammprodukt den Prozessor weiterhin dazu, beim Bereitstellen der Bilddarstellung zumindest einen zweiten Teil der erfassten Umgebung in Form eines Spiegelbildes des mindestens einen zweiten Teils der Umgebung auf einem definierten Bereich der Kraftfahrzeugdarstellung darzustellen.
-
Darüber hinaus betrifft die Erfindung auch ein Fahrerassistenzsystem für ein Kraftfahrzeug zum Bereitstellen einer Bilddarstellung von zumindest einem Teil einer Umgebung des Kraftfahrzeugs auf einer Anzeigeeinrichtung, wobei das Fahrerassistenzsystem mindestens einen Kraftfahrzeugsensor aufweist, der dazu ausgelegt ist, die Umgebung des Kraftfahrzeugs zumindest teilweise zu erfassen, eine Auswerteeinheit, die dazu ausgelegt ist, eine Bilddarstellung von mindestens einem ersten Teil der erfassten Umgebung innerhalb eines definierten Ansichtsfensters aus einer definierten Perspektive darzustellen, wobei die Bilddarstellung eine Kraftfahrzeugdarstellung, welche das Kraftfahrzeug repräsentiert, umfasst, und eine Anzeigeeinrichtung, die dazu ausgelegt ist, die Bilddarstellung anzuzeigen. Darüber hinaus ist die Auswerteeinheit dazu ausgelegt, beim Bereitstellen der Bilddarstellung den mindestens einen zweiten Teil der erfassten Umgebung in Form eines Spiegelbildes des mindestens einen zweiten Teils der Umgebung auf einem bestimmten Bereich der Kraftfahrzeugdarstellung darzustellen.
-
Darüber hinaus soll auch ein Kraftfahrzeug aufweisend ein erfindungsgemäßes Fahrerassistenzsystem als zur Erfindung gehörend angesehen werden.
-
Die mit Bezug auf das erfindungsgemäße Verfahren und seine Ausgestaltungen beschriebenen Vorteile gelten in gleicher Weise für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Fahrerassistenzsystem und das erfindungsgemäße Kraftfahrzeug.
-
Vorzugsweise ist der mindestens eine Sensor als mindestens eine Kamera ausgestaltet. Vorzugsweise weist das Fahrerassistenzsystem mehrere Kameras, zum Beispiel vier Kameras, auf, wie eine Frontkamera, die an der Fahrzeugfront angeordnet ist, eine Heckkamera, die am Heck des Kraftfahrzeugs angeordnet ist, eine linke Spiegelkamera, die am linken Seitenspiegel des Kraftfahrzeugs angeordnet ist, und eine rechte Spiegelkamera, die am rechten Seitenspiegel des Kraftfahrzeugs angeordnet ist. Zu jedem Zeitschritt können diese Kameras Bilder von der Umgebung des Kraftfahrzeugs aufnehmen, die dann auf ein gegebenes Ansichtsfenster von einem definierten virtuellen Blickpunkt aus, welcher die definierte Perspektive definiert, projiziert werden, wodurch Ausgangsbilder bereitgestellt werden, in welche eine Kraftfahrzeugdarstellung eingesetzt wird und auf der Anzeigeeinrichtung, insbesondere einer Anzeigeeinrichtung des Kraftfahrzeugs, angezeigt wird.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
-
Dabei zeigen:
- 1 eine schematische Darstellung eines Kraftfahrzeugs mit einem Fahrerassistenzsystem gemäß einem Ausführungsbeispiel der Erfindung;
- 2 eine schematische Darstellung einer projektiven Oberfläche, die als Kugel ausgestaltet ist, mit einem eingesetzten Kraftfahrzeugmodell gemäß einem Ausführungsbeispiel der Erfindung;
- 3 eine schematische Darstellung einer Bilddarstellung, die auf der Anzeigeeinrichtung des Kraftfahrzeugs gemäß einem Ausführungsbeispiel der Erfindung angezeigt wird; und
- 4 eine schematische Darstellung der Bilddarstellung, die auf der Anzeigeeinrichtung des Kraftfahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung angezeigt wird.
-
1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Fahrerassistenzsystem 2 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrerassistenzsystem 2 weist mindestens einen Umfeldsensor, in diesem Fall vier Kameras 3, 4, 5, 6, nämlich eine Frontkamera 3, eine Heckkamera 4, eine linke Spiegelkamera 5 und eine rechte Spiegelkamera 6, auf. Jede dieser Kameras 3, 4, 5, 6 kann als Weitwinkelkamera ausgestaltet sein. Daher kann ein sehr großes Sichtfeld von jeder dieser Kameras 3, 4, 5, 6 erfasst werden. In diesem Beispiel weist die Frontkamera 3 ein korrespondierendes Sichtfeld FOV1 auf, welches in der horizontalen Ebene durch die dargestellten Grenzlinien 3a begrenzt ist. In gleicher Weise weist die Heckkamera 4 ein korrespondierendes Sichtfeld FOV2 auf, welches in der horizontalen Ebene durch die korrespondierenden Grenzlinien 4a begrenzt ist. Die linke Spiegelkamera 5 weist ein korrespondierendes Sichtfeld FOV3 auf, welches in der horizontalen Ebene durch die dargestellten Grenzlinien 5a begrenzt ist, und die rechte Spiegelkamera 6 weist ein korrespondierendes Sichtfeld FOV4 auf, welches in der horizontalen Ebene durch die dargestellten Grenzlinien 6a begrenzt ist. Daher ist jede dieser Kameras 3, 4, 5, 6 dazu ausgebildet, einen korrespondierenden Teil 7a, 7b, 7c, 7d der Umgebung 7 des Kraftfahrzeugs 1 zu erfassen. Darüber hinaus überlappen sich die jeweiligen Sichtfelder FOV1, FOV2, FOV3, FOV4 paarweise.
-
Das Fahrerassistenzsystem 2 weist auch eine Auswerteeinheit auf, welche als Bildverarbeitungsmodul 8 ausgebildet ist. Das Bildverarbeitungsmodul 8 bildet die von den jeweiligen Kameras 3, 4, 5, 6 erfassten Bilder auf eine Zieloberfläche wie eine Kugel 9 (vergleiche 2) oder eine flache zweidimensionale Ebene ab und fügt diese nachfolgend zusammen und rendert die Bilder auf das Ansichtsfenster 10 (vergleiche 2) von einer beliebig gewählten virtuellen Kamera an einem virtuellen Blickpunkt 11 aus, wodurch eine Perspektive definiert wird. Die Bilddarstellung der Umgebung innerhalb dieses Ansichtsfensters 10 und zusätzlich eine Darstellung des Kraftfahrzeugs 1 werden dann auf der Anzeigeeinrichtung 12 des Kraftfahrzeugs 1 angezeigt.
-
2 zeigt eine schematische Darstellung einer projektiven Oberfläche, die in diesem Beispiel als Kugel 13 ausgebildet ist, zusammen mit einem dreidimensionalen Modell des Kraftfahrzeugs 1, als ein Beispiel einer Kraftfahrzeugdarstellung 14. Wie oben beschrieben, werden die von den Kraftfahrzeugkameras 3, 4, 5, 6 erfassten Bilder zusammengefügt und auf die Oberfläche der Kugel 13 projiziert. Darüber hinaus ist ein bestimmtes Ansichtsfenster 10 definiert, welches von der Position der gewählten Perspektive, die hier durch den virtuellen Blickpunkt 11 repräsentiert ist, abhängt. In diesem Beispiel ist die Perspektive 11 so gewählt, dass eine Ansicht von hinten auf das Kraftfahrzeug 1, welches durch das Kraftfahrzeugmodell oder im Allgemeinen die Kraftfahrzeugdarstellung 14 repräsentiert wird, bereitgestellt ist. Die resultierende Bilddarstellung 15, die letztendlich auf der Anzeigeeinrichtung 12 des Kraftfahrzeugs 1 angezeigt wird, ist in 3 dargestellt.
-
Nun wird vorteilhafterweise nicht nur der erste Teil 10a der Umgebung 7 des Kraftfahrzeugs 1, welcher mit dem Ansichtsfenster 10 in Zusammenhang steht, dargestellt, sondern auch ein zweiter Teil 16a der Umgebung 7 des Kraftfahrzeugs 1, welcher in 2 durch den markierten Bereich hinter dem Kraftfahrzeugmodell 14 illustriert ist und welcher daher als einem zweiten Ansichtsfenster 16 zugeordnet angesehen werden kann. Dieser zweite Teil 16a wird auf einem bestimmten Bereich der Kraftfahrzeugdarstellung 14 angezeigt, insbesondere in diesem Beispiel auf der Heckscheibe 17 (vergleiche 3) in Form eines Spiegelbildes 18 dieses zweiten Teils 16a der Umgebung 7. Dadurch kann zusätzliche Umgebungsinformation dem Benutzer des Kraftfahrzeugs 1 in einer sehr natürlichen und realistischen Art und Weise angezeigt werden.
-
Im Allgemeinen kann jede Fensterdarstellung 17 verwendet werden, um das Spiegelbild 18 anzuzeigen, zum Beispiel auch die Darstellung der Windschutzscheibe 19 oder der Seitenfenster 20 wie in 4 dargestellt. Insbesondere zeigt 4 eine schematische Darstellung eines weiteren Beispiels einer Bilddarstellung 15 in Form eines Draufsichtbildes, bei welchem der virtuelle Blickpunkt 11 direkt über dem Kraftfahrzeug 1 positioniert ist, welches wiederum durch eine korrespondierende Kraftfahrzeugdarstellung 14 repräsentiert wird. In diesem Beispiel ist die Kraftfahrzeugdarstellung 14 vorzugsweise durch ein zweidimensionales Bitmap-Bild bereitgestellt. Das korrespondierende Ansichtsfenster 10 ist in diesem Beispiel hier die Ebene des Untergrunds und vorteilhafterweise werden auch in diesem Fall andere Teile der Umgebung, die nicht innerhalb dieses definierten Ansichtsfensters liegen, als jeweilige Spiegelbilder 18 auf den Fenstern 17, 19, 20 der Kraftfahrzeugdarstellung 14 dargestellt.
-
Dabei ist es besonders vorteilhaft, wenn die Spiegelbilder 18 auf Teilen der Kraftfahrzeugdarstellung 14 dargestellt werden, die Fenster 17, 19, 20 darstellen, da dadurch ein sehr natürlicher Eindruck der Lichtreflexion auf den Benutzer gemacht werden kann. Durch das Anzeigen zusätzlicher Teile der Umgebung in Form solcher Spiegelbilder 18, zum Beispiel unter Verwendung von Glasfenstern, können kritische Szenen in der Umgebung 7 über den Draufsichtbereich hinaus gemäß diesem in 4 dargestellten Beispiel reflektiert werden oder über jedes andere gewählte Ansichtsfenster 10 hinaus, wie im Beispiel von 3, was enorm dazu beiträgt, die Beobachtung der Umgebung 7 durch den Fahrer zu verbessern.
-
Um ein solches Spiegelbild 18 bereitzustellen, kann die Berechnung strikt dem physikalischen Lichtreflexionsgesetz folgen. Zu diesem Zweck kann eine Spiegelebene definiert werden, die durch die Geometrie des bestimmten Bereichs der Kraftfahrzeugdarstellung 14 bestimmt sein kann, auf welchem das Spiegelbild 18 angezeigt wird, im Falle, dass die Kraftfahrzeugdarstellung 14 in Form eines dreidimensionalen Kraftfahrzeugmodells 14 bereitgestellt wird. Aber auch im Fall, wenn das Kraftfahrzeug 1 durch ein zweidimensionales Bitmap-Bild repräsentiert wird, können die definierten Bereiche, zum Beispiel die Fensterbereiche, einer korrespondierenden Spiegelebene zugeordnet sein, auf welcher das Licht aus der Umgebung 7 gemäß einer Modellrechnung reflektiert wird, insbesondere abhängig von der Position des virtuellen Blickpunkts 11.
-
Darüber hinaus können bei der Berechnung des Spiegelbildes 18 auch definierte Abweichungen vom physikalischen Lichtreflexionsgesetz zulässig sein. Dies bedeutet, dass die auf dem Glas gezeigte Szene vorbestimmt sein kann, um die andernfalls verdeckten Umgebungsszenen, wie zum Beispiel kritische Szenen von fernen Ecken des Kraftfahrzeugs 1, zu zeigen. Somit kann vorteilhafterweise mittels solch künstlicher Abweichungen vom Lichtreflexionsgesetz das Sichtfeld, welches durch das Spiegelbild 18 bereitgestellt wird, vergrößert werden. In diesem Fall können Bildwarping und Ansichtsfenstergestaltung angewandt werden, um das Sichtfeld auszudehnen. Bildwarping und Ansichtsfenstergestaltung sind Techniken, um die Rohbilder der realen Kameras 3, 4, 5, 6 zu transformieren, um in angemessener Weise interessantere Bildinhalte anzuzeigen.
-
Diese Reflexionsfunktion, nämlich das Anzeigen von Teilen der Umgebung als Spiegelbild, kann für manche Kraftfahrzeugbetriebsmanöver wie zum Beispiel das rückwärts Einparken des Kraftfahrzeugs in eine Parklücke, besonders nützlich sein. Darüber hinaus kann auch ein Reflexionsgrad, der definiert, wie hell oder stark die Reflexion auf dem bestimmten Teil der Kraftfahrzeugdarstellung 14 erscheint, einstellbar sein, insbesondere durch einen Benutzer. Zu diesem Zwecke kann dem Benutzer jede beliebige Art von Eingabemittel bereitgestellt sein, um den Reflexionsgrad gemäß seinen Vorlieben einzustellen. Auch kann ein Default-Reflexionsgrad bereitgestellt sein, um die Reflexion so natürlich wie möglich zu gestalten, zum Beispiel 20 Prozent. Darüber hinaus kann dem Benutzer auch eine Option bereitgestellt sein, um diese Glasreflexionsfunktion an- oder abzuschalten. Somit wird, wenn diese Funktion abgeschaltet ist, das Glas transparent ohne oder nur mit sehr schwachen Szenenreflexionen angezeigt.
-
Zusammenfassend kann mittels der Erfindung oder ihrer Ausgestaltungen zusätzlicher, möglicherweise kritischer Inhalt einem Benutzer in sehr natürlicher und realistischer Weise angezeigt werden, ohne irgendwelche anderen relevanten dargestellten Teile der Umgebung zu verdecken, was damit besonders vorteilhaft in vielen Fahr- und Parksituationen ist und das Risiko, kritische Informationen zu übersehen, reduziert.
