DE102021200185A1

DE102021200185A1 - Verfahren und Vorrichtung zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs

Info

Publication number: DE102021200185A1
Application number: DE102021200185.8A
Authority: DE
Inventors: Micha Helbig; Amira El Amouri; Eric Roslin Wete Poaka; Luisa Naumann; Nabil Hammouche
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2021-01-11
Filing date: 2021-01-11
Publication date: 2022-07-14

Abstract

Bei dem erfindungsgemäßen Verfahren zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs (F) wird ein Triggersignal zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds generiert (10), wenn eine Eingabe eines Fahrzeuginsassen (N) zur Ausgabe einer solchen Abbildung erfasst wird oder ermittelt wird, dass eine solche Abbildung für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld automatisch ausgegeben werden soll. Der Teilbereich wird mit einer Kameraeinheit (K, K1 - K4) des Fahrzeugs erfasst (11 und eine Abbildung von dem erfassten Teilbereich erzeugt (12). Die Abbildung des erfassten Teilbereichs wird ausgegeben (13). Hierbei kann eine vergrößerte Darstellung eines Umgebungsobjekts in dem erfassten Teilbereich des Fahrzeugumfelds erzeugt und auf einer Anzeigeeinheit des Fahrzeugs angezeigt werden. Ebenso kann die Abbildung ein den Teilbereich des Fahrzeugumfelds, der von dem Fahrzeuginsassen durch eine Scheibe des Fahrzeugs aktuell betrachtet werden kann, wiedergebendes Standbild sein.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs. Die vorliegende Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens und ein Fahrzeug, das eingerichtet ist, ein solches Verfahren auszuführen oder eine solche Vorrichtung aufweist.
Moderne Fahrzeuge besitzen eine Vielzahl an Sensoren, um das Umfeld wahrzunehmen. Insbesondere sind viele Fahrzeuge inzwischen auch mit einer oder mehreren Außenkameras ausgestattet, die ihre Bildsignale für verschiedene Assistenzsysteme zur Verfügung stellen können. So ermöglichen beispielsweise Rückfahrkameras, den Bereich hinter einem Fahrzeug optisch zu erfassen und auf einem Display im Fahrzeug anzuzeigen, um damit rückwärts gerichtete Rangier- und Einparkvorgänge zu erleichtern. Es ist auch möglich, unter Verwendung von mehreren Kameras eine Vogelperspektive des Fahrzeugs zu generieren und bei einem Einparkvorgang anzuzeigen. Ebenso kann mit einer im Kühlergrill oder hinter der Windschutzscheibe montierten Frontkamera die befahrene Fahrspur für einen Spurhalteassistenten ermittelt werden oder eine kamerabasierte Verkehrszeichenerkennung erfolgen, um beispielsweise die Anzeige der zulässigen Geschwindigkeit auf einem Head-Up-Display zu ermöglichen.
Ferner ist es auch bekannt, die Seiten- bzw. Rückspiegel eines Fahrzeugs durch eine Kombination von Kameras und Displays zu ersetzen. Ein solches System wird beispielsweise in der EP 3 162 635 A1 beschrieben. Hierbei wird zur Sicherstellung der rückwärtigen und seitlichen Sicht das von einer Kamera aufgenommene Bild vor der Darstellung auf einem Display so angepasst, dass es mit dem von dem Fahrer bei Verwendung eines gewöhnlichen Spiegels zu sehenden Spiegelbild identisch ist. Das jeweilige Display ist hierbei zwischen dem Fahrer und einem der Fenster des Fahrzeugs angeordnet und transparent, wenn aktuell kein Kamerabild angezeigt wird.
Die DE 10 2012 008 986 A1 offenbart ein Kamerasystem für ein Kraftfahrzeug, bei dem mit einer Kamera die Umgebung des Fahrzeugs erfasst wird und die so generierte Bildsequenz auf einer Anzeigeeinrichtung angezeigt wird. Hierbei kann von einem Benutzer ein gewünschter Bildbereich (ROI) ausgewählt werden, in welchem ein Teilbereich der erfassten Umgebung abgebildet ist. Eine Bildverarbeitungseinrichtung ermöglicht, bei einer Relativbewegung der Kamera bezüglich des Teilbereichs oder bei einem Zoomen den Teilbereich zu verfolgen und den ausgewählten Bildbereich auf der Anzeigeeinrichtung derart anzupassen, dass der ausgewählte Bildbereich fortdauernd denselben Teilbereich der Umgebung darstellt und Kameraparameter, wie beispielsweise die Belichtung, fortlaufend optimiert werden.
Schließlich offenbart die DE 10 2013 011 311 A1 ein Informationssystem für ein Kraftfahrzeug, bei dem ermittelt wird, ob die Blickrichtung eines Fahrzeuginsassen auf ein fahrzeugexternes Objekt gerichtet ist, wobei das Objekt zur Identifizierung mit einem Kamerasystem aufgenommen wird.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs zur Verfügung zu stellen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, sowie durch eine entsprechende Vorrichtung gemäß Anspruch 13 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Bei dem erfindungsgemäßen Verfahren zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs wird ein Triggersignal zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds generiert, wenn eine Eingabe eines Fahrzeuginsassen zur Ausgabe einer solchen Abbildung erfasst wird oder ermittelt wird, dass eine solche Abbildung für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld automatisch ausgegeben werden soll. Der Teilbereich wird mit einer Kameraeinheit des Fahrzeugs erfasst wird und eine Abbildung von dem erfassten Teilbereich erzeugt. Die Abbildung des erfassten Teilbereichs wird ausgegeben.
Das erfindungsgemäße Verfahren ermöglicht damit einem Fahrzeugnutzer, eine Kameraeinheit des Fahrzeugs, in dem er sich befindet, bei Interesse an einem Teilbereich des aktuellen Fahrzeugumfeldes gezielt für eine Erzeugung einer Abbildung hiervon zu nutzen, um diesen beispielsweise direkt im Anschluss oder zu einem späteren Zeitpunkt im Detail und in aller Ruhe betrachten zu können. Ebenso kann so bei einer Gefahrensituation automatisch eine genauere Betrachtung erfolgen. Ferner kann die Abbildung auch aufgezeichnet oder über eine Schnittstelle an ein mobiles Endgerät zur weiteren Nutzung ausgegeben werden.
Vorteilhafterweise wird die Abbildung des erfassten Teilbereichs des Fahrzeugumfelds auf einer Anzeigeeinheit des Fahrzeugs angezeigt.
Weiterhin ist es von Vorteil, wenn die Eingabe des Fahrzeuginsassen mittels einer berührungsempfindlichen Scheibe des Fahrzeugs erfasst.
Besonders vorteilhaft ist es hierbei, wenn die Anzeige der Abbildung des erfassten Teilbereichs des Fahrzeugumfelds auf der berührungsempfindliche Scheibe des Fahrzeugs erfolgt.
Gemäß einer Ausführungsform der Erfindung wird eine vergrößerte Darstellung eines Umgebungsobjekts in dem erfassten Teilbereich des Fahrzeugumfelds erzeugt, wobei die vergrößerte Darstellung auf der Anzeigeeinheit des Fahrzeugs angezeigt wird.
Vorteilhafterweise wird hierbei das Umgebungsobjekt in Reaktion auf die Eingabe des Fahrzeuginsassen vergrößert dargestellt, wobei zu dem Umgebungsobjekt Informationen ermittelt werden, die an den Fahrzeuginsassen ausgegeben werden.
Vorzugsweise wird hierfür die Position und Ausrichtung des Fahrzeugs ermittelt und mittels der ermittelten Position und Ausrichtung des Fahrzeugs sowie der Eingabe des Fahrzeuginsassen die Position des Umgebungsobjekts ermittelt. Mittels der ermittelten Position des Umgebungsobjekts wird das Umgebungsobjekt erkannt, so dass Informationen zu dem Umgebungsobjekt ermittelt und ausgegeben werden können.
Gemäß einer weiteren Ausführungsform der Erfindung werden die mit der Kameraeinheit erfassten Bildsignale ausgewertet. Es wird eine potentiell mit dem erfassten Umgebungsobjekt in Zusammenhang stehende Gefahrensituation ermittelt und eine Anzeige der vergrößerten Darstellung an den Fahrer des Fahrzeugs ausgegeben.
Hierbei erfolgt vorzugsweise eine automatische Anzeige der vergrößerten Darstellung auf einem Head-Up-Display, das eine an den Fahrer gerichtete Anzeige auf der Windschutzscheibe des Fahrzeugs generiert.
Gemäß einer weiteren Ausführungsform der Erfindung ist die Abbildung ein den vollständigen Teilbereich des Fahrzeugumfelds, der von dem Fahrzeuginsassen durch eine Scheibe des Fahrzeugs aktuell betrachten kann, wiedergebendes Standbild.
Vorteilhafterweise ist für die Eingabe des Fahrzeuginsassen zur Erzeugung des Standbilds ein mechanisches Bedienelement vorgesehen, das im Bereich der Scheibe angeordnet ist.
Hierbei kann das mechanische Bedienelement vorzugsweise einen ersten Bedienmodus zur Betätigung eines Fensterhebers der Scheibe und einen zweiten Bedienmodus zur Erzeugung und Abspeicherung des Standbilds aufweisen.
Entsprechend umfasst eine erfindungsgemäße Vorrichtung eine Einheit zum Generieren eines Triggersignals zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds, wenn eine Eingabe eines Fahrzeuginsassen zur Ausgabe einer solchen Abbildung erfasst wird oder ermittelt wird, dass eine solche Abbildung für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld automatisch ausgegeben werden soll. Ferner ist eine Kameraeinheit zum Erfassen des Teilbereichs; eine Bildverarbeitungseinheit zur Erzeugung einer Abbildung von dem erfassten Teilbereich; und eine Ausgabeeinheit, mittels der die Abbildung des erfassten Teilbereichs ausgebbar ist, vorgesehen.
Gemäß einer Ausführungsform der Erfindung umfasst die Vorrichtung eine Eingabeeinheit für den Fahrzeuginsassen in Form einer berührungsempfindlichen Scheibe des Fahrzeugs.
Die Erfindung betrifft auch ein Kraftfahrzeug, in dem das erfindungsgemäße Verfahren oder die erfindungsgemäße Vorrichtung eingesetzt wird.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich.

1 zeigt ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens;
2 zeigt schematisch ein Beispiel eines Umgebungsobjekts im Fahrzeugumfeld, wie es von einem Fahrzeugnutzer durch eine Seitenscheibe des Fahrzeugs gesehen wird (A) und wie es nach Erfassen mit einer Außenkamera des Fahrzeugs und Heranzoomen auf der Seitenscheibe dargestellt wird;
3 zeigt schematisch einen Fahrzeugnutzer mit einem Blockschaltbild einer erfindungsgemäßen Vorrichtung; und
4 zeigt schematisch ein Kraftfahrzeug mit einer erfindungsgemäßen Vorrichtung;

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen.
1 zeigt schematisch ein allgemeines Ablaufdiagramm für das erfindungsgemäße Verfahren zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs.
Gemäß einem ersten Verfahrensschritt 10 wird hierbei ein Triggersignal zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds generiert. Das Triggersignal kann hierbei generiert werden, wenn eine entsprechende Eingabe eines Fahrzeuginsassen erfasst wird, beispielsweise in dem dieser mit einem Finger eine Touchgeste auf einem berührungsempfindlichen Fenster ausführt oder andere hierfür vorgesehene Bedienelemente betätigt. Ebenso kann das Triggersignal aber auch automatisch generiert werden, falls ermittelt wird, dass eine Abbildung von dem Teilbereich des Fahrzeugumfelds für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld ausgegeben werden soll.
Entsprechend wird in einem Verfahrensschritt 11 ein Teilbereich des Fahrzeugumfelds mit einer Außenkamera des Fahrzeugs erfasst. Je nach Ausführungsform und Anzahl der Außenkameras des Fahrzeugs wird das Bildsignal hierbei von der für die Abbildung am besten geeigneten Außenkamera aufgenommen. In einem Verfahrensschritt 12 erfolgt eine Bildverarbeitung der Kamerasignale, um eine Abbildung von dem Teilbereich des Fahrzeugumfelds zu erzeugen, die dann in einem Verfahrensschritt 13 an den Fahrzeugnutzer ausgegeben wird. Dieses kann unmittelbar nach Erfassung des Fahrzeugumfelds oder auch zu einem späteren Zeitpunkt geschehen und als Anzeige auf dem berührungsempfindlichen Fenster oder aber auch einem anderen Display erfolgen.
Wie im Folgenden beschrieben, können Details des erfindungsgemäßen Verfahrens hierbei je nach Ausführungsform unterschiedlich ausgestaltet sein.
In einer ersten Ausführungsform der Erfindung können Außenkameras für ein Heranzoomen von einem Umgebungsobjekt verwendet werden. So kann beispielsweise ein in dem Fahrzeug befindlicher Mitfahrer bei dem Passieren eines vom Fahrzeug weiter entfernten Gebäudes den Wunsch haben, dieses Gebäude näher zu betrachten. In diesem Fall kann er auf einer berührungsempfindlichen Fahrzeugscheibe, durch die er das Gebäude erblickt hat, eine Zoomgeste ausführen, um dadurch das Gebäude gewissermaßen heranzuzoomen. Eine mit einer Außenkamera des Fahrzeugs erzeugte Abbildung des Gebäudes kann dann dem Fahrzeugnutzer vergrößert angezeigt werden, beispielsweise auf dem berührungsempfindlichen Fenster oder mittels eines Head-up-Displays, das über die Fahrzeugscheibe eine Projektion für den Fahrzeuginsassen wiedergibt, oder eines anderen Displays, welches von dem Fahrzeuginsassen eingesehen werden kann.
Hierbei kann auch die Position des Objektes bzw. dessen Identität bestimmt werden. Dieses ermöglicht dann, dass zusätzliche Informationen wie der Name des Gebäudes, ggfs. mit einem Link zu weiteren Informationen im Internet, angezeigt werden können. Hat der Fahrzeugnutzer für das aktuell von dem Fahrzeug passierte Gebäudes die Zoomgeste ausgeführt, so können die zusätzlichen Informationen zusammen mit der vergrößerten Darstellung unmittelbar angezeigt werden. Es ist aber auch möglich, dass der Fahrzeugnutzer die zusätzlichen Informationen zunächst anfordern muss, beispielsweise durch zusätzlich eingeblendete Bedienelemente oder eine entsprechende Spracheingabe. Ein solches Heranzoomen von Umgebungsobjekten kann für beliebige sogenannte Points of Interest im Umfeld eines Fahrzeugs oder auch beliebige andere statische Objekte im Umfeld des Fahrzeugs angewendet werden, wie beispielsweise Straßenschilder.
In einer weiteren Ausführungsform kann die Erfindung auch genutzt werden, um den Fahrer des Fahrzeugs auf Gefahren im Fahrzeugumfeld hinzuweisen. Hierfür kann der Gefahrenbereich herangezoomt und dem Fahrer über ein Head-Up-Display vergrößert angezeigt werden. Beispielsweise kann ein in einiger Entfernung vor dem Fahrzeug spielendes Kind mit einer Frontkamera des Fahrzeugs erfasst werden, und mittels einer Bilderkennung, die beispielsweise auf einem trainierten neuronalen Netzwerk beruht, als solches erkannt werden. Daraufhin kann eine vergrößerte Darstellung des spielenden Kindes im Head-Up-Display angezeigt werden, damit der Fahrer diese potentielle Gefahrensituation korrekt einschätzen kann.
Eine weitere Ausführungsform ermöglicht es, ähnlich sogenannter Screenshots bei der Bedienung von Computereinrichtungen, Standbilder von dem Teilbereich des Fahrzeugumfelds, der von dem Fahrzeuginsassen durch eine Scheibe des Fahrzeugs aktuell betrachten kann, zu machen. Hierfür kann beispielsweise durch einen Doppelklick auf ein berührungsempfindliches Fahrzeugfenster ein Foto oder Video mit der dazu passend ausgerichteten Kamera gemacht werden. Ebenso können solche Standbilder aber auch per Spracheingabe, eine Betätigung von auf einem Display dargestellten Bedienelementen oder eine Verwendung von hierfür vorgesehenen manuellen Bedienknöpfen ausgelöst werden. So kann hierfür beispielsweise ein „Screenshot-Knopf“ unter dem jeweiligen Fahrzeugfenster vorgesehen werden. Ebenso kann ein Bedienelement für einen elektrischen Fensterheber des Fensters genutzt werden, beispielsweise indem auf diesem ein Doppelklick ausgeübt wird. Auf diese Weise lassen sich von dem Fahrzeuginsassen als schön empfundene Ausblicke, aber auch plötzlich auftretende ungewöhnliche Situationen in Form eines Screenshots schnell und unkompliziert festhalten. Das Standbild wird hierfür in einer Speichereinheit des Fahrzeugs abgespeichert. Das gespeicherte Standbild kann dann später auf andere Geräte, wie beispielsweise ein Mobilfunkgerät, übertragen werden oder in einer Anzeige im Fahrzeug betrachtet werden. Die Übertragung kann beispielsweise in Form von Grafikdaten im JPEG- oder TIFF-Format über eine Bluetooth-Schnittstelle erfolgen.
2 zeigt schematisch ein Beispiel mit einer durch einen Fahrzeugnutzer initiierten Vergrößerung eines Teilbereichs des Fahrzeugumfelds mit einem Umgebungsobjekt U in Form eines Gebäudes. In 2A ist zunächst dargestellt, wie das Umgebungsobjekt U von dem Fahrzeugnutzer durch eine Seitenscheibe SF des Fahrzeugs gesehen wird. Nachdem der Fahrzeugnutzer dieses Umgebungsobjekt U nun durch eine an dem Seitenfenster SF ausgeführte Touchgeste für eine vergrößerte Darstellung ausgewählt hat, wird der das Umgebungsobjekt U umfassende Teilbereich des Fahrzeugumfelds mit einer Außenkamera des Fahrzeugs erfasst und dann herangezoomt, indem eine vergrößerte Darstellung auf der Seitenscheibe SF angezeigt wird, wie in 2B dargestellt.
Hierbei werden auch zu dem Umgebungsobjekt weiterführende Informationen Ul in einem Pop-up-Fenster neben dem Umgebungsobjekt auf dem Seitenfenster SF angezeigt. So können die weiterführenden Informationen UI beispielsweise bei einem historischen Gebäude den Namen und zusätzliche Hintergrundinformationen beinhalten. Ebenso kann beispielsweise auch auf ein sich in dem Gebäude befindliches Restaurant hingewiesen werden, ggfs. zusammen mit Informationen über die Art der angebotenen Speisen, Öffnungszeiten oder auch Bewertungen. Ebenso können Zusatzoptionen vorgesehen sein, beispielsweise die Möglichkeit, automatisch eine mit einem Umgebungsobjekt verknüpfte Telefonnummer anzurufen oder eine mit dem Umgebungsobjekt verknüpfte Webseite zu öffnen.
3 zeigt schematisch einen Fahrzeugnutzer N mit einem Blockschaltbild einer Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dem Fahrzeugnutzer kann es sich in dem dargestellten Beispiel insbesondere um den rechts neben dem Fahrer im Fahrzeug befindlichen Beifahrer oder einen dahinter befindlichen Mitfahrer handeln.
Der Fahrzeugnutzer N wendet sich hierbei nach rechts und berührt mit dem Zeigefinger seiner rechten Hand das Seitenfenster SF, um das Umgebungsobjekt U heranzuzoomen. Das Seitenfenster SF kann hierfür als berührungsempfindliche Scheibe ausgestaltet sein, sodass der Fahrzeugnutzer das Umgebungsobjekt auf intuitive Weise, so wie von handelsüblichen Touchscreens und Touchpads bekannt, heranzoomen kann. So kann der Fahrzeugnutzer den Bereich, in dem sich das Umgebungsobjekt befindet, beispielsweise über den Zeigefinger anvisieren und dann durch einen auf dem berührungsempfindlichen Seitenfenster im Bereich der Sichtlinie ausgeübtes Doppeltippen zur Vergrößerung anwählen. Ebenso kann hierfür aber auch eine Mehrfingergeste, beispielsweise eine sogenannte Pinchgeste, bei der zwei Finger zum Zoomen auseinander bewegt werden, ausgeübt werden. Zur Auswertung der durch Berührung der berührungsempfindlichen Scheibe generierten Signale werden diese einer Auswerte- und Steuereinheit AS zugeführt. Die Auswerte- und Steuereinheit AS kann hierbei einen Mikroprozessor, einen internen elektronischen Speicher und eine oder mehrere elektrische Schnittstellen aufweisen.
Die Umsetzung der Berührungsempfindlichkeit des Seitenfensters und die Ermittlung der Position des Fingers bzw. der mehreren Finger auf der Oberfläche des Seitenfensters kann hierbei auf unterschiedlichen Funktionsprinzipien, wie beispielsweise einem resistiven, kapazitiven oder induktiven System beruhen. So kann beispielsweise bei einem kapazitiven System zwischen einem rechtwinkligen Gitter aus Elektroden ständig die Kapazität gemessen werden, die sich bei Annäherung eines Fingers verändert und dadurch eine Ermittlung einer zweidimensionalen Position ermöglicht.
Die rechts neben dem Seitenfenster SF befindliche Fahrzeugumgebung, inklusive dem Umgebungsobjekt U, wird mit einer Außenkamera K erfasst. Die mit der Außenkamera K erfassten Videosignale werden einer Bildverarbeitungseinheit BV zugeführt. Da bekannt ist, auf welchem Fenster die Zoomgeste von dem Fahrzeugnutzer N ausgeübt worden ist, ist auch bekannt, im Sichtfeld welcher Kamera sich das Umgebungsobjekt befindet, im dargestellten Beispiel im Sichtfeld der Außenkamera K.
Indem der Fahrzeugnutzer das Umgebungsobjekt U bei der Zoomgeste über seinen Zeigefinger anvisiert, kann auch die Raumrichtung zu dem Umgebungsobjektes U ermittelt werden. die in der Figur unterbrochen dargestellt ist, da sich das Umgebungsobjekt in einiger Entfernung von dem Fahrzeugnutzer befindet.
Hierfür kann von einer typischen Position des Fahrzeugnutzers bzw. seiner Augenposition ausgegangen werden, die in der Auswerte- und Steuereinheit AS hinterlegt sein kann. Es kann aber auch zusätzlich die Parallaxe, d.h. die scheinbare Änderung der Position eines Umgebungsobjektes bei Abweichung der Position des Fahrzeugnutzers von dieser typischen Position, ausgeglichen werden und damit die Genauigkeit gesteigert werden, indem der Fahrzeugnutzer und insbesondere seine Augenpartie mit einer Innenraumkamera KI erfasst werden. Auf diese Weise kann die Ermittlung der Raumrichtung an unterschiedliche Körpergrößen oder unterschiedliche Sitzposition des Fahrzeugnutzers angepasst werden. Vorzugsweise ist die Innenraumkamera KI hierbei als 3D-Kamera ausgestaltet und ist so im Innenraum verbaut, dass der Fahrzeugnutzer gut erfasst werden kann, beispielsweise im Dachhimmel vor dem jeweiligen Sitz.
Ferner kann es vorgesehen werden, mit der Innenraumkamera KI auch den Bereich des Seitenfensters und eine darauf oder davor ausgeübte Geste des Fahrzeugnutzers zu erfassen. In diesem Fall wird durch eine Analyse der Bildsignale und einen Vergleich mit abgespeicherten Mustern von Fingern, die eine Zoomgeste ausführen, ermittelt, ob der Fahrzeugnutzer eine Zoomgeste ausführt. Diese Analyse kann durch die Bildverarbeitungseinheit, die Auswerte- und Steuereinheit oder durch eine separate oder in der Innenraumkamera KI integrierte Analyseeinheit erfolgen.
Mit der so ermittelten Raumrichtung kann von der Auswerte- und Steuereinheit AS ermittelt werden, welcher Teilbereich des mit der Kamera K erfassten Bildsignals vergrößert werden soll. Für diesen Teilbereich generiert die Bildverarbeitungseinheit BV eine vergrößerte Darstellung und führt sie über die Auswerte- und Steuereinheit AS einer Anzeigeeinheit zur Wiedergabe zu, die im dargestellten Fall in der berührungsempfindliche Scheibe integriert ist. Hierbei kann durch Laminieren eines transparenten Dünnschichtdisplays in dem Glas des Seitenfensters die Informationen direkt auf der Scheibe angezeigt werden. Ebenso kann die Anzeige aber auch durch andere im Fahrzeug angeordnete Displays erfolgen.
Ferner ist eine Posenbestimmungseinheit P vorgesehen, welche die aktuelle Fahrzeugposition aus GPS-Daten eines fahrzeuginternen GPS-Sensors und die aktuelle Orientierung des Fahrzeugs mittels eines elektronischen Kompass ermittelt und eine Information hierüber der Auswerte- und Steuereinheit AS zuführt. Die Auswerte- und Steuereinheit AS kann dann mittels dieser Information in Verbindung mit der aus der Zoomgeste ermittelten Raumrichtung zu dem Umgebungsobjekt U die genaue Position des Umgebungsobjekts bestimmen. Die Identität des Umgebungsobjekts kann dann mit digitalen Kartendaten, die beispielsweise in einer Datenbank einer nicht dargestellten Navigationseinheit des Fahrzeugs vorliegen können oder aber auch von einem Backend-Server bei einem Serviceunternehmen online abgefragt werden können, bestimmt werden.
Ebenso können für das Umgebungsobjekt von der Datenbank zusätzliche Informationen abgefragt werden. Die Informationen können dann durch die Auswerte- und Steuereinheit AS über eine Ausgabeeinheit an den Fahrzeugnutzer ausgegeben werden. So können die abgefragten Informationen zusammen mit der vergrößerten Darstellung des Umgebungsobjektes auf der Seitenscheibe oder aber auch auf einem anderen Display ausgegeben werden. Stattdessen oder zusätzlich kann auch eine akustische Ausgabe über Lautsprecher im Fahrzeug erfolgen. Anstatt einer solchen reinen Informationswiedergabe können ebenso mit dem Umgebungsobjekt verknüpfte Funktionen ausgeführt werden, wie beispielsweise einen telefonischen Kontakt zu dem erkannten Umgebungsobjekt herzustellen oder Internetseiten mit weiteren Informationen zu dem Umgebungsobjekt automatisch zu öffnen und darzustellen.
4 zeigt schematisch eine Draufsicht auf ein Fahrzeug F, in dem gemäß der Erfindung ein Umgebungsobjekt herangezoomt oder ein Screenshot von der Fahrzeugumgebung erstellt werden kann. Das Fahrzeug F kann insbesondere ein PKW, ein von einem menschlichen Fahrer geführtes Taxi oder ein sogenanntes Robotaxi, oder beispielsweise auch ein Reisebus sein.
Das Fahrzeug umfasst in dem dargestellten Beispiel vier Außenkameras, welche die Fahrzeugumgebung des Fahrzeugs erfassen. Beispielsweise ist eine Frontkamera K2 im Kühlergrill, jeweils eine Seitenkamera K3 und K1 in dem linken und rechten Außenspiegel und eine Rückkamera K4 in der Heckklappe integriert. Der Außenkameras können hierbei mit sogenannten Fish-Eye-Objektiven ausgestattet sein, die einen Bildwinkel von ca. 180 Grad haben, so dass sich die Ansichten der vier Kameras überlappen. Ferner ist, wie oben erwähnt, noch eine Innenraumkamera KI vorgesehen. Die von den Fahrzeugkameras jeweils erzeugten Bild- oder Videodaten werden über einen digitalen Datenbus DB im Fahrzeug der Auswerte- und Steuereinheit AS zugeführt, welche in diesem Beispiel die Bildverarbeitungseinheit BV mit umfasst und die Bilddaten wie oben beschrieben verarbeitet.
Zusätzlich umfasst das Fahrzeug vier berührungsempfindliche Seitenfenster SF1 - SF4, auf denen von einem neben dem jeweiligen Seitenfenster befindlichen Fahrzeuginsassen durch entsprechende Touchgesten eine Vergrößerung eines Umgebungsobjekts oder ein Screenshot ausgelöst werden kann. Hierfür wird bei Berührung des jeweiligen Fensters ein Signal über den Datenbus DB der Auswerte- und Steuereinheit AS zugeführt und basierend darauf die entsprechende Außenkamera angesteuert. Soll eine Wiedergabe der Vergrößerung oder des Screenshots auf dem jeweiligen Seitenfenster erfolgen, so werden die entsprechenden Bilddaten diesem Außenfenster ebenfalls über den Datenbus DB zugeführt.
Ferner werden von einer Posenbestimmungseinheit P die aktuelle Fahrzeugposition und die aktuelle Orientierung des Fahrzeugs der Auswerte- und Steuereinheit AS über den Datenbus DB zugeführt.
Zusätzlich kann das Fahrzeug weitere, in der Figur nicht dargestellte Komponenten aufweisen. So kann das Fahrzeug beispielsweise einen oder mehrere Radar- oder LiDAR-Sensoren umfassen, mit dem die Fahrzeugumgebung erfasst und der Abstand zwischen dem Fahrzeug und den Umgebungsobjekten bestimmt werden kann. Ferner kann das Fahrzeug auch mit einem integrierten Konnektivitätsmodul ausgestattet sein, das für eine mobile Kommunikation mit einem Backend-Server zum Datenaustausch verwendet werden kann, um beispielsweise Details zu einem vergrößerten Umgebungsobjekt abzufragen oder auch einen telefonischen Kontakt zu einem Umgebungsobjekt zu ermöglichen.
Die Erfindung kann in beliebigen Bereichen der Fahrzeugtechnik eingesetzt werden.
Bezugszeichenliste

10, 11, 12, 13: Verfahrensschritte
U: Umgebungsobjekt
UI: Informationen zu Umgebungsobjekt
SF, SF1 - SF4: Seitenfenster
N: Fahrzeugnutzer
K, K1 - K4: Außenkamera
KI: Innenkamera
BV: Bildverarbeitungseinheit
AS: Auswerte- und Steuereinheit
P: Posenbestimmungseinheit
F: Fahrzeug
DB: Datenbus

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3162635 A1 [0003]
DE 102012008986 A1 [0004]
DE 102013011311 A1 [0005]

Claims

Verfahren zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs (F), bei dem - ein Triggersignal zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds generiert (10) wird, wenn eine Eingabe eines Fahrzeuginsassen (N) zur Ausgabe einer solchen Abbildung erfasst wird oder ermittelt wird, dass eine solche Abbildung für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld automatisch ausgegeben werden soll; - der Teilbereich mit einer Kameraeinheit (K, K1 - K4) des Fahrzeugs erfasst (11) wird und eine Abbildung von dem erfassten Teilbereich erzeugt (12) wird; und - die Abbildung des erfassten Teilbereichs ausgegeben (13) wird.
Verfahren nach Anspruch 1, wobei die Abbildung des erfassten Teilbereichs des Fahrzeugumfelds auf einer Anzeigeeinheit des Fahrzeugs (F) angezeigt (13) wird.
Verfahren nach Anspruch 1 oder 2, wobei die Eingabe des Fahrzeuginsassen mittels einer berührungsempfindlichen Scheibe (SF, SF1 - SF4) des Fahrzeugs (F) erfasst wird.
Verfahren nach Anspruch 3, wobei die Anzeige der Abbildung des erfassten Teilbereichs des Fahrzeugumfelds auf der berührungsempfindliche Scheibe (SF, SF1 - SF4) des Fahrzeugs (F) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine vergrößerte Darstellung eines Umgebungsobjekts (U) in dem erfassten Teilbereich des Fahrzeugumfelds erzeugt (12) wird und die vergrößerte Darstellung auf der Anzeigeeinheit des Fahrzeugs angezeigt (13) wird.
Verfahren nach Anspruch 5, wobei das Umgebungsobjekt (U) in Reaktion auf die Eingabe des Fahrzeuginsassen (N) vergrößert dargestellt wird und zu dem Umgebungsobjekt (U) Informationen (UI) ermittelt werden, die an den Fahrzeuginsassen ausgegeben werden.
Verfahren nach Anspruch 6, wobei - die Position und Ausrichtung des Fahrzeugs (F) ermittelt wird; - mittels der ermittelten Position und Ausrichtung des Fahrzeugs (F) sowie der Eingabe des Fahrzeuginsassen die Position des Umgebungsobjekts (U) ermittelt wird; und - mittels der ermittelten Position des Umgebungsobjekts (U) das Umgebungsobjekt (U) erkannt wird; und - Informationen (UI) zu dem Umgebungsobjekt (U) ermittelt und ausgegeben werden.
Verfahren nach einem der Ansprüche 5 bis 7, wobei - die mit der Kameraeinheit (K, K1 - K4) erfassten Bildsignale ausgewertet werden; - eine potentiell mit dem erfassten Umgebungsobjekt (U) in Zusammenhang stehende Gefahrensituation ermittelt wird; und - eine Anzeige der vergrößerten Darstellung an den Fahrer des Fahrzeugs ausgegeben wird.
Verfahren nach Anspruch 8, wobei eine automatische Anzeige der vergrößerten Darstellung auf einem Head-Up-Display erfolgt, das eine an den Fahrer gerichtete Anzeige auf der Windschutzscheibe des Fahrzeugs generiert.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Abbildung ein den vollständigen Teilbereich des Fahrzeugumfelds, der von dem Fahrzeuginsassen durch eine Scheibe (SF, SF1 - SF4) des Fahrzeugs aktuell betrachten kann, wiedergebendes Standbild ist.
Verfahren nach Anspruch 9, wobei für die Eingabe des Fahrzeuginsassen zur Erzeugung des Standbilds ein mechanisches Bedienelement vorgesehen ist, das im Bereich der Scheibe (SF, SF1 - SF4) angeordnet ist.
Verfahren nach Anspruch 11, wobei das mechanische Bedienelement einen ersten Bedienmodus zur Betätigung eines Fensterhebers der Scheibe (SF, SF1 - SF4) und einen zweiten Bedienmodus zur Erzeugung und Abspeicherung des Standbilds aufweist.
Vorrichtung zur Ausgabe einer Abbildung von einem Teilbereich des Umfelds eines Fahrzeugs (F), mit - einer Einheit zum Generieren eines Triggersignals zur Ausgabe einer Abbildung von einem Teilbereich des Fahrzeugumfelds, wenn eine Eingabe eines Fahrzeuginsassen (N) zur Ausgabe einer solchen Abbildung erfasst wird oder ermittelt wird, dass eine solche Abbildung für einen Fahrer des Fahrzeugs zur Beurteilung einer Gefahrensituation im Fahrzeugumfeld automatisch ausgegeben werden soll; - einer Kameraeinheit (K, K1 - K4) zum Erfassen des Teilbereichs; - einer Bildverarbeitungseinheit (BV) zur Erzeugung einer Abbildung von dem erfassten Teilbereich; und - einer Ausgabeeinheit (SF, SF1 - SF4), mittels der die Abbildung des erfassten Teilbereichs ausgebbar ist.
Vorrichtung nach Anspruch 13, wobei diese eine Eingabeeinheit (SF, SF1 - SF4) für den Fahrzeuginsassen (N) in Form einer berührungsempfindlichen Scheibe des Fahrzeugs umfasst.
Kraftfahrzeug, das eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12 auszuführen oder eine Vorrichtung gemäß Anspruch 13 oder 14 aufweist.