DE102008034606A1

DE102008034606A1 - Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit

Info

Publication number: DE102008034606A1
Application number: DE102008034606A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2008-07-25
Filing date: 2008-07-25
Publication date: 2010-01-28

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit, die mindestens ein Bildsignal vom Fahrzeug drahtlos empfängt. Durch das mindestens eine Bildsignal wird eine Darstellung auf der mobilen Einheit generiert, welche wenigstens eine perpektivisch angeordnete virtuelle Ebene enthält, auf welcher wenigstens ein mit einem Aufnahmemittel des Fahrzeuges aufgenommenes Bild, umfassend zumindest einen Teil der Umgebung des Fahrzeuges, abgebildet ist.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung der Umgebung eines Fahrzeuges, insbesondere eines Kraftfahrzeuges, auf einer mobilen Einheit.
Eine drahtlose Videobildübertragung von einem Fahrzeug zu einer mobilen oder stationären Einheit, die über haptische oder grafische Bedienelemente verfügt, ist aus dem Stand der Technik, insbesondere aus dem Modellbau, bekannt. Ferner ist eine drahtlose Steuerung eines Fahrmanövers in Verbindung mit einer Videobildübertragung bekannt.
Die Druckschrift EP 1 308 829 A2 zeigt eine mobile Einheit zur Steuerung eines ferngesteuerten Nutzfahrzeuges. In dieser Druckschrift ist außerdem eine am ferngesteuerten Fahrzeug angebrachte schwenkbare Videokamera beschrieben, die durch die mobile Einheit gesteuert werden kann, insbesondere physikalisch geschwenkt oder genickt werden kann. Ferner sind Verfahren zur Durchführung bestimmter voll- und teilautomatischer Manöver, z. B. automatisches sensorbasiertes Parken eines Kraftfahrzeuges, bekannt.
Bekannte Verfahren weisen den Nachteil auf, dass eine Darstellung von einem Kamerabild umfassend die Fahrzeugumgebung an einem Bildschirm einer mobilen Einheit dem Menschen kein hinreichendes Gefühl für die Fahrzeugumgebung vermittelt. Ohne die Möglichkeit einer visuellen Abschätzung der Abstände im dargestellten Bild sowie ohne das Gefühl für die Perspektive, aus welcher die Umgebung bzw. einzelne Objekte dargestellt werden, ist die Durchführung eines drahtlos gesteuerten Manövers, besonders mit einem leistungsstarken Fahrzeug, welches zum Transport von Menschen und/oder Gütern vorgesehen ist, riskant. Insbesondere kann dabei nicht die Position der Hindernisse in Relation zum eigenen Fahrzeug, z. B. zu bestimmten Bereichen des Fahrzeuges, abgeschätzt werden, und der Fahrer hat kein Gefühl für die Fahrtrichtung bzw. Bewegungsrichtung anderer Objekte relativ zum Fahrzeug. Besonders riskant ist dies beim Vorhandensein weiterer Verkehrsteilnehmer die sich relativ zum Fahrzeug bewegen.
Eine für den Menschen einfach verständliche Darstellung der Fahrzeugumgebung wird auch nicht durch eine Darstellung von einem extrem weitwinkligen Bild (Fish-Eye) er reicht, weil ein im Wesentlichen aus einer einzigen Position aufgenommenes extrem weitwinkliges Bild prinzipbedingte Verzeichnungen enthält, welche die Orientierung anhand eines solches Bildes, insbesondere in einer dreidimensionalen Umgebung, erheblich beeinträchtigen. Dies erweist sich insbesondere bei einer Relativbewegung der Objekte, wie diese z. B. im Straßenverkehr stattfindet, als hinderlich, denn die Position und Geschwindigkeit der Objekte kann nicht korrekt wahrgenommen werden.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit bzw. ein entsprechendes System bzw. ein entsprechendes Fahrzeug zu schaffen, welche eine durch den Benutzer leicht erfassbare Darstellung unterschiedlicher Bereiche der Fahrzeugumgebung auf der mobilen Einheit erzeugen.
Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. ein Informationssystem mit den Merkmalen des Anspruchs 24 bzw. ein Fahrzeug mit den Merkmalen des Anspruchs 26. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Erfindungsgemäß erfolgt die Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit (d. h. auf einer Anzeigeeinheit der mobilen Einheit oder einer an die mobile Einheit angeschlossenen Anzeigeeinheit) durch mindestens ein Bildsignal, welches die mobile Einheit vom Fahrzeug drahtlos empfängt, wobei durch das mindestens eine Bildsignal eine Darstellung auf der mobilen Einheit generiert wird, welche wenigstens eine perspektivisch angeordnete virtuelle Ebene enthält, auf welche wenigstens ein mit einem Aufnahmemittel des Fahrzeuges aufgenommenes Bild abgebildet ist.
Das Bildsignal kann dabei bereits die perspektivisch angeordnete virtuelle Ebene enthalten, d. h. die Bildverarbeitung zur Darstellung der virtuellen Ebene wurde bereits im Fahrzeug durchgeführt. Ebenso ist es möglich, dass das Bildsignal noch nicht die virtuelle Ebene enthält, sondern diese Darstellung erst durch eine Bildverarbeitung in der mobilen Einheit generiert wird.
Das erfindungsgemäße Verfahren erlaubt dem Benutzer ein deutlich leichteres Hineinversetzen in die Park- bzw. aktuelle Fahrposition des Fahrzeuges unter Anderem deshalb, weil die Positionen einzelner Bildinhalte relativ zur Fahrzeugposition leichter interpretiert werden können.
Neben der Übermittlung des Bildinhaltes wird erfindungsgemäß somit auch die Richtung bzw. Ausrichtung, in der die entsprechende Ansicht relativ zum Fahrzeug und/oder zur Fahrtrichtung liegt, mit dem Bildsignal übertragen. Insbesondere kann das Verfahren auf ein fahrendes Fahrzeug angewandt werden. Somit werden dem Benutzer die Fahrtrichtung des Fahrzeuges sowie das Fahrgefühl intuitiv und verständlich vermittelt. Die erfindungsgemäße Darstellung bietet auch den Vorteil, dass sie auf einem kleinen Bildschirm angezeigt werden kann, was besonders für kompakte mobile Einheiten von großem Vorteil ist.
In einer besonders vorteilhaften Ausgestaltung des Verfahrens bildet die perspektivische Ebene im Wesentlichen die Fahrbahn ab, und zwar vorzugsweise in einer Lage und einem Neigungswinkel, welche einer im Wesentlichen im oder oberhalb des Fahrzeuges befindlichen Beobachterposition entsprechen. Die perspektivische Wiedergabe dieser virtuellen Fahrbahnebene wird dabei bevorzugt durch die Begrenzungsform der virtuellen Fahrbahnebene und/oder die Anordnung von wenigstens zwei Bildern der Fahrzeugumgebung generiert. Die perspektivische Wiedergabe wird dabei bevorzugt im Verhältnis zu einer Begrenzung der Anzeigeeinheit der mobilen Einheit oder zu einer Referenzfigur, z. B. einem Rahmen und/oder einer zusätzlich generierten räumlich wirkenden grafischen Abbildung, die von der Anzeigeeinheit angezeigt wird, dargestellt. Die Referenzfigur kann derart ausgestaltet sein, dass sie die Ausdehnung und/oder Ausrichtung des virtuellen Raumes kennzeichnet. In dieser können z. B. auch die Richtungen oben/unten und bevorzugt auch die Fahrtrichtung z. B. aus einer typischen Fahrerposition gekennzeichnet werden. Somit hilft die Referenzfigur dem Benutzer bei der Orientierung und verstärkt das räumliche Wahrnehmen der eigentlichen Darstellung. Eine Darstellung der virtuellen Fahrbahnebene, die einer Wahrnehmung des Benutzers schräg nach unten vorne, insbesondere in einem wahrgenommenen Blickwinkelbereich zwischen 30° und 60° zwischen der Blickrichtung und der virtuellen Fahrbahnebene, entspricht, ist besonders vorteilhaft. Außerdem wird hierdurch eine sehr gute Ausnutzung der Anzeigefläche eines typisch geformten horizontal ausgedehnten Displays ermöglicht. Vorteilhafterweise werden auf die virtuelle Fahrbahnebene Fahrbahnabschnitte abgebildet, die im aktuellen Fahrmodus des Fahrzeuges als nächste befahren werden. Somit kann einem Benutzer, der die Fahr situation eines Fahrzeuges aus einer Entfernung durch die mobile Einheit beobachtet, eine Ansicht auf die Fahrbahn angeboten werden, welche der Ansicht entspricht, wie die Fahrbahnebene z. B. aus der Fahrerposition des Fahrzeuges zu sehen wäre, und zwar auch dann, wenn das Aufnahmemittel des Fahrzeuges sich an einer anderen, nicht dieser Ansicht entsprechenden Position befindet.
Bevorzugt kann das auf die mobile Einheit übertragene Bildsignal die notwendigen Bildverarbeitungsschritte, insbesondere die geometrischen Transformationen, Synchronisation der Bilder untereinander, Angleichung der Helligkeit, die z. B. auf der leistungsstarken Bildverarbeitungseinheit des Fahrzeuges ausgeführt werden können, bereits enthalten. Somit wird für die Übertragung der erfindungsgemäßen Darstellung lediglich ein Bildübertragungskanal, insbesondere ein Videoübertragungskanal, benötigt. Somit können bekannte, standardmäßig vorgesehene Übertragungsprotokolle, z. B. eine standardmäßige Bitrate für Videosignalübertragungsstrecken, etc. verwendet werden, was zu einer deutlich einfacheren Umsetzung des Verfahrens bzw. des entsprechenden Systems zur Ausführung des Verfahrens führt. Alternativ ist auch die Übertragung einzelner Bilder, welche noch keinen oder nur ausgewählten Bildverarbeitungsschritten unterzogen wurden, denkbar. In diesem Fall kann die Bildverarbeitungseinheit der mobilen Einheit oder einer Infrastrukturvorrichtung, über die das Videosignal weitergeleitet wird, zur Durchführung von Bildverarbeitungsschritten genutzt werden.
Das Bildsignal kann auch in Form von Umgebungsmodelldaten, z. B. in einer vektoriellen Form, übertragen werden und ein z. B. anhand der Daten des Aufnahmemittels erstelltes Modell des entsprechenden Raumteils enthalten. Das Umgebungsmodell kann dabei vor seiner Übertragung an die mobile Einheit entsprechend transformiert und/oder auf eine virtuelle Ebene abgebildet werden. Bei den durch die mobile Einheit dargestellten Bildern kann es sich somit um Bilder handeln, die in Abhängigkeit eines solchen Bildsignals in der mobilen Einheit erzeugt und/oder wiederhergestellt werden. Folglich wird der Vorteil der Reduktion der zu übertragenden Daten sowie der Reduktion der in der mobilen Einheit durchzuführenden Datenverarbeitungsoperationen erreicht.
In einer bevorzugten Ausgestaltung des Verfahrens werden durch Aufnahmemittel des Fahrzeugs wenigstens zwei Bilder erzeugt, welche unterschiedliche Fahrbahnabschnitte der Fahrbahnebene in der Umgebung des Fahrzeugs enthalten. Unter „unterschiedliche Fahrbahnabschnitte der Fahrbahnebene” sind dabei Fahrbahnbereiche zu verstehen, die insbesondere mit unterschiedlichen Aufnahmemittel erzeugt werden, die an den verschiedenen Einbaustellen im Fahrzeug vorgesehen sind und/oder verschiedenen Ansichten relativ zu der Fahrzeugausrichtung, z. B. von oben, seitlich, rückwärts, entsprechen. Es handelt sich insbesondere um Bereiche der Fahrzeugumgebung, welche die Teile der Fahrbahn und gegebenenfalls der darauf befindlichen Objekte derart abbilden, dass die Teile der Fahrbahn sich zumindest in einem Teilbereich nicht überlappen, insbesondere überhaupt nicht oder nur geringfügig überlappen.
Unter Aufnahmemittel sind eine oder mehrere Vorrichtungen zu verstehen, die dem Fahrer des Fahrzeugs einen Ausschnitt der Fahrzeugumgebung bildlich darstellen und technisch zur Umsetzung der Merkmale der Erfindung geeignet sind. Vorrichtungen, die einen dem Fahrer darstellbaren bildlichen Ausschnitt der Fahrzeugumgebung bereitzustellen vermögen, sind im Rahmen dieser Anmeldung unter dem Begriff „bildgebende Vorrichtungen” subsumiert. Zu den bildgebenden Vorrichtungen in diesem Sinne zählen sowohl solche, die auf Kamerabildern (auch z. B. im Infrarotwellenlängenbereich aufgenommenen Bildern) basieren, als auch solche, die auf synthetischen, d. h. rechnerisch z. B. aus Sensordaten erzeugten Bildern basieren, die beispielsweise durch ein Abtasten bzw. „Scannen” der Umgebung durch eine Radar-Vorrichtung, eine Lidarvorrichtung, Ultraschallsensoren bzw. Clustern aus solchen Sensoren oder ein ähnliches Erfassungsmittel erzeugt werden können. Insbesondere können die Bilder sowohl einen Teil der Fahrzeugumgebung als auch eine künstlich erzeugte, z. B. anhand der Sensordaten synthetisierte und/oder symbolhafte Grafik beinhalten.
Auch solche Fälle einer realzeitmäßigen Bilderzeugung auf Basis einer Sensierung der Umgebung seien von dem verwendeten Begriff „Erzeugung von wenigstens zwei Bildern durch Aufnahmemittel” umfasst. Eine bildgebende Vorrichtung in obigem Sinne kann auch aus mehreren Kameras und/oder anderen Sensoren bestehen, deren Bilder zu einem einzigen Bild zusammengefügt werden. Unter dem Begriff „Bild” ist dabei nicht nur ein statisches, eine Einzelaufnahme der Umgebung repräsentierendes Bild zu verstehen, sondern auch ein sich dynamisch veränderndes Bild in der Form eines Bildstroms aus aufeinander folgenden Bildern, z. B. in der Form eines MPEG Videostreams oder einer Sequenz von Vollbildern.
In dem erfindungsgemäßen Verfahren werden die wenigstens zwei Bilder der auf der mobilen Einheit generierten Darstellung auf einer Anzeigeeinheit der mobilen Einheit wiedergegeben, wobei die Anzeigeeinheit jede beliebige Vorrichtung umfassen kann, mit der Bilder visuell darstellbar sind, insbesondere Flachbildschirmdisplays, Head-Up-Displays, 3D-Displays, (3D-)Projektionsvorrichtungen. In einer bevorzugten Variante ist die Anzeigeeinheit ein TFT-Display. Die Anzeigeeinheit kann in die mobile Einheit integriert sein oder an diese angeschlossen sein. Unter dem Begriff Fahrzeug kann insbesondere ein Kraftfahrzeug, ein Luftfahrzeug, ein Wasserfahrzeug oder Amphibienfahrzeug gemeint sein. Unter dem Fahrbahnabschnitt kann dem entsprechend auch die Wasseroberfläche oder z. B. Teile einer Landebahn verstanden werden. Außerdem ist im Sinne der Erfindung ein verkleinertes Modell des Fahrzeuges, z. B. ein Spielzeugfahrzeug, ein autonomes Nutz- oder Erkundungsfahrzeug und/oder ein mobiler Roboter als Fahrzeug zu verstehen.
Eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens zeichnet sich durch die bereits oben erwähnte virtuelle Fahrbahnebene aus, wobei eine Darstellung umfassend die virtuelle Fahrbahnebene generiert wird, wobei wenigstens zwei Bilder auf die virtuelle Fahrbahnebene abgebildet werden und die virtuelle Fahrbahnebene perspektivisch wiedergegeben wird, wobei die perspektivische Wiedergabe bevorzugt durch die Begrenzungsform der virtuellen Fahrbahnebene und/oder die Anordnung der wenigstens zwei Bilder zueinander erzeugt wird.
Der Begriff „virtuelle Fahrbahnebene” ist dabei derart zu verstehen, dass die Perspektive der virtuellen Fahrbahnebene nicht der Perspektive der Aufnahmemittel entspricht und insbesondere nicht aus dem Inhalt der Bilder stammt, sondern erst durch das erfindungsgemäße Verfahren, insbesondere durch eine Darstellung der virtuellen Fahrbahnebene in einer entsprechenden Form und Anordnung der Bilder zueinander, generiert wird. Die wenigstens zwei transformierten Bilder werden im Wesentlichen auf einer virtuellen Fahrbahnebene abgebildet. Mit anderen Worten wird die virtuelle Fahrbahnebene als eine perspektivisch geneigte Ebene dargestellt, deren Perspektive nicht der Perspektive der Aufnahmemittel entspricht. Die virtuelle Fahrbahnebene vermittelt dem mindestens einem Fahrzeuginsassen dabei die Grundrichtung der Fahrbahn, die aus einer bestimmten Perspektive gesehen wird.
Der Begriff „perspektivische Wiedergabe der virtuellen Fahrbahnebene” ist dabei derart zu verstehen, dass die virtuelle Fahrbahnebene räumlichen oder quasi-räumlich in einer besonderen bzw. nach besonderen Kriterien ermittelten Perspektive dargestellt wird, so dass dem Betrachter ein dreidimensionaler räumlicher Eindruck, insbesondere bezogen auf die räumliche Ausrichtung der virtueller Fahrbahnebene, vermittelt wird. Insbesondere zählen zu den perspektivischen Darstellungen solche Darstellungen, bei welchen die Teile einer virtuellen Ebene als unterschiedlich tief liegend relativ zur Anzeigefläche der Anzeigeeinheit und/oder relativ zu dieser als unterschiedlich ausgerichtet wahrgenommen werden. Eine perspektivische Wiedergabe in diesem Sinne umfasst somit keine Wiedergabe ohne räumlichen Eindruck, wie z. B. Darstellungen in Draufsicht.
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass die Anordnung und die Position einzelner Fahrbahnabschnitte in der Umgebung des Fahrzeugs durch eine quasi-räumliche Darstellung durch den Fahrer bzw. Nutzer der mobilen Einheit schnell und intuitiv erfasst werden können. Besonders verständlich ist dabei eine Darstellung, bei der die Perspektive der wiedergegebenen virtuellen Fahrbahnebene im Wesentlichen der Ausrichtung der tatsächlichen Fahrbahnebene entspricht, die durch den Fahrer des Fahrzeugs gesehen werden könnte, wenn sein Fahrzeug z. B. zur Seite hin durchsichtig wäre.
Besonders vorteilhaft ist, dass wenigstens zwei Bilder, die im Wesentlichen eine Fahrbahnebene bzw. auf einer Fahrbahnebene befindliche Objekte aus verschiedenen Einbaustellen am Fahrzeug erfassen und/oder relativ zum Koordinatensystem des Fahrzeuges unterschiedlich ausgerichtet sind, auf dieselbe virtuelle Fahrbahnebene oder Teile dieser abgebildet werden, wobei es für den Benutzer vorteilhaft ist, wenn die virtuelle Fahrbahnebene eine andere perspektivische Ausrichtung als die Aufnahmemittel besitzt. Dies erlaubt dem Benutzer die richtige Interpretation der Bilder.
Besonders vorteilhaft ist, dass die wenigstens zwei Bilder auf die virtuelle Fahrbahnebene mittels einer geometrischen Transformation abgebildet werden, welche derart angewandt wird, dass die Transformation der wenigstens zwei Bilder im Wesentlichen der Perspektive entspricht, in der die virtuelle Fahrbahnebene dargestellt wird. Dabei kann das Bild anhand einer durch das erfindungsgemäße Verfahren ermittelten Abbildungsfunktion und/oder mittels einer Zuordnungstabelle für einzelne Bildbereiche bzw. Pixel auch anhand von an sich bekannten Verfahren verformt werden. Die Zuordnungstabelle kann die Verschiebung bestimmter repräsentativer Punkte des ursprünglichen Bildes zu den entsprechenden Punkten des transformierten Bildes bestimmen. Die dazwischen liegenden Punkte der Abbildung können auch mittels einer durch ein Interpolationsverfahren bestimmten Position ermittelt werden. Bevorzugt ist die Transformation derart ausgestaltet, dass die Abstände zwischen den Punkten der transformierten Bilder in einem solchen Verhältnis zueinander stehen, wie diese aus einem bestimmten Beobachtungspunkt gesehen wären.
Die Begrenzungsform der virtuellen Abbildungsebene und/oder die Begrenzungsformen einzelner, auf diese abgebildeter Bilder kann mittels der Anwendung einer sogenannten Maske, z. B. durch die Auswahl eines Pixelbereiches des transformierten Bildes, das auf die virtuelle Ebene abgebildet wird, stattfinden. Alternativ oder zusätzlich kann die Begrenzungsform auch durch das selektive Auslesen der Bildbereiche aus dem gesamten, durch das Aufnahmemittel erfassbaren Bereich erzeugt werden. Die Begrenzungsform kann z. B. durch einen sprungartigen oder weichen Übergang zwischen der Abbildung des transformierten Bildes und dem Hintergrund dargestellt werden und kann zusätzlich durch Darstellung von einem grafischen Rahmen für die virtuelle Ebene und/oder für die einzelnen, auf diese abgebildeten transformierten Bilder verstärkt werden.
Besonders vorteilhaft ist eine derartige Transformation der Bilder, bei der die Größenänderung der Abbildungen der Fahrbahnabschnitte bei einer Fahrzeugbewegung im etwa der empfundener Größenänderung dieser Fahrbahnabschnitte entspricht, die vom Menschen bei einer direkten Sicht auf diese Fahrbahnabschnitte aus einer ähnlichen Perspektive und Bewegung empfunden wird. Somit verhalten sich die Abbildungen der Texturen der Fahrbahn, z. B. Pflastersteine oder auf der Fahrbahn liegende Objekte, bei einer Bewegung des Fahrzeuges, z. B. bei einem Einparkvorgang, gegenüber dem Beobachter im Innenraum des Fahrzeuges annähernd so, als würde der Fahrer diese durch die Seitenbereiche seines Fahrzeuges sehen.
Das erfindungsgemäße Verfahren bietet insbesondere beim bewegten Fahrzeug einen Vorteil gegenüber der bekannten flachen Top-View-Darstellung, bei welcher die Abbildungen der Seitenbereiche des Fahrzeuges relativ zu der Fahrtrichtung um 90° verdreht sind.
Das erfindungsgemäße Verfahren ist besonders vorteilhaft, wenn die wenigstens zwei Bilder separate Fahrbahnabschnitte ohne gegenseitige Überlappungen enthalten.
Vorzugsweise enthalten die wenigstens zwei Bilder jeweils einen Fahrbahnabschnitt seitlich neben dem Fahrzeug und/oder hinter dem Fahrzeug und/oder vor dem Fahrzeug, wobei die Fahrbahnabschnitte mit entsprechenden bildgebenden Vorrichtungen erfasst werden und in einem einzigen Gesamtbild in der Anzeigeeinheit wiedergegeben werden. Hierdurch kann einfach und intuitiv gegebenenfalls der gesamte Umgebungsbereich um das Fahrzeug in einer räumlichen oder quasi-räumlicher Darstellung in der Anzeigeeinheit der mobilen Einheit wiedergegeben werden.
Vorzugsweise wird die Steuerung der Bildparameter der Bilder von unterschiedlichen Aufnahmemitteln, z. B. die Belichtungssteuerung, Histogrammoperationen, Weißabgleich, derart ausgestaltet, dass wenigstens ein Bildparameter eines Bildes von einem Aufnahmemittel von den Szenenparametern eines anderen Bildes eines anderen Aufnahmemittels abhängt.
Insbesondere können die Bilder von unterschiedlichen Aufnahmemittel einer derartigen Histogrammoperation unterzogen werden, dass die integralen Schwerpunkte ihrer Histogramme, insbesondere Luminanz- und/oder RGB-Histogramme, im Wesentlichen aneinander angepasst werden. Somit wird z. B. eine solche Helligkeits-Kontrast und/oder Weißabgleichsteuerung erreicht, die eine im Wesentlichen einheitliche Wahrnehmung der Farbtemperatur einzelner Bilder in der gesamten Darstellung ermöglicht. Somit kann insbesondere eine Konformität in Bezug auf die menschliche Wahrnehmung dieser Bilder erreicht wird, was die Interpretation der Bilder erleichtert und darüber hinaus einen ästhetischen Vorteil bietet.
Vorzugsweise werden die Bilder von den unterschiedlichen Aufnahmemitteln untereinander synchronisiert, insbesondere durch die Steuerung und/oder Taktgebung aus der Bildverarbeitungseinheit. Somit wird eine konforme Abbildung der Objekte auf der Fahrbahn, die sich z. B. von einem Bild zu den anderen ausdehnen, insbesondere beim bewegten Fahrzeug erreicht.
In einer weiteren, besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist die generierte Darstellung derart ausgestaltet, dass die Lage der Teile der Fahrzeugumgebung relativ zu dem Fahrzeug bzw. bestimmten Teilen des Fahrzeugs ersichtlich ist. Hierdurch erkennt der Fahrer bzw. Nutzer der mobilen Einheit durch Betrachten der Anzeigeeinheit sofort, an welchen Stellen in der Umgebung seines Fahrzeugs die dargestellten Fahrbahnabschnitte liegen, ohne dass er die einzelnen Fahrbahnabschnitte z. B. anhand der Kenntnis der Einbaustellen einzelner Aufnahmemittel am Fahrzeug und deren Ausrichtung analytisch zuordnen muss. Die Darstellung kann mit einer eingeblendeten Scala und/oder Markierungen, bevorzugt äquidistanten Markierungen versehen sein, die bevorzugt in der Wahrnehmung des Insassen des Fahrzeuges als oberhalb der virtuellen Fahrbahnebene befindlich wahrgenommen werden.
In einer besonders bevorzugten Ausgestaltung des Verfahrens ist die mobile Einheit als ein Mobiltelefon bzw. eine Weiterbildung von einem Mobiltelefon ausgestaltet. Somit kann die Transceivereinheit und/oder der Bildschirm des Mobiltelefons zur Ausführung des Verfahrens genutzt werden. Insbesondere ergibt sich auch ein vorteilhaftes Mobiltelefon, welches eine übersichtliche Darstellung der Fahrzeugumgebung aus einer Entfernung erlaubt.
Vorteilhafterweise kann das mindestens eine Bildsignal aus dem Fahrzeug, welches gegebenenfalls begleitende Daten enthält, über das vorhandene Mobilfunknetz mittels eines Mobilfunksendeprotokolls, z. B. UMTS, gesendet werden. Denkbar ist auch eine unmittelbare Bildübertragung von einem Sender bzw. Transceiver des Fahrzeuges, der z. B. als eine 2,4 GHz-Übertragungsstrecke zu der mobilen Einheit ausgestaltet ist, wobei der begleitende Datenaustausch vom Fahrzeug zur mobilen Einheit und/oder von der mobilen Einheit zum Fahrzeug über das Mobilfunknetz übertragen wird.
Gegebenfalls kann ein Mobiltelefon mittels Modifikation und/oder Erweiterung der unterstützten Kommunikationsmittel, z. B. des Transceivers, bzw. der unterstützten Protokolle einen Bildempfang und/oder Austausch von begleitenden Daten von/zum Fahrzeug erlauben.
Vorteilhafterweise erfolgt die Autorisierung des Benutzers der mobilen Einheit, z. B. zur Einsicht des mindestens einen vom Fahrzeug übertragenen Bildsignals, bei der Kommu nikation mit dem Fahrzeug mittels seiner SIM-Karte. Eine zusätzliche Personalisierung des Benutzers der mobilen Einheit, insbesondere des Mobiltelefons, kann dann mittels beliebiger bekannter Verfahren, z. B. Eingabe einer Geheimzahl, Erfassung eines Fingerabdrucks etc. erfolgen.
Vorteilhafterweise kann erfindungsgemäß eine drahtlose Überwachung der Umgebung des Fahrzeuges durch eine außerhalb des Fahrzeuges befindliche Person bei einem durch den Fahrer des Fahrzeuges ausgeführten Manöver erfolgen. Dies bietet insbesondere einen Vorteil bei der Durchführung komplexer Manöver. Besonders vorteilhaft ist dabei eine Ausgestaltung der mobilen Einheit als ein Mobiltelefon, wobei diese zugleich eine Kommunikation, insbesondere ein Telefongespräch, zwischen dem Fahrer eines Fahrzeuges und der weiteren Person außerhalb des Fahrzeuges ermöglicht.
In einer besonders bevorzugten Ausgestaltung des Verfahrens enthält die durch das Bildsignal generierte Darstellung weitere, an die mobile Einheit übermittelte und im Zusammenhang mit dem Fahrzeug stehende Bilder von einer Infrastrukturvorrichtung, wobei diese Bilder bevorzugt ebenfalls in einer perspektivischen Form dargestellt werden. Bei der Infrastrukturvorrichtung kann es sich z. B. um ein Parkhaus handeln, in dem Aufnahmemittel, z. B. Kameras oder Sensoren, sowie ein Sender bzw. Transceiver vorgesehen sind. Somit können weitere Bilder, insbesondere Bilder, die ebenfalls die Fahrzeugumgebung darstellen und z. B. von einem Aufnahmemittel außerhalb des Fahrzeuges stammen, übermittelt werden. Diese Bilder können durch die Kameras eines Parkhauses erfasst und durch das Mobilfunknetz übermittelt werden. Die virtuellen Ebenen, auf die die Bilder der Infrastrukturvorrichtung abgebildet werden, können vorteilhafterweise insbesondere derart perspektivisch angeordnet sein, dass die Perspektive mindestens einer virtuellen Ebene, auf die wenigstens ein von der Infrastrukturvorrichtung aufgenommenes Bild abgebildet wird, und die Perspektive der Ebene, auf die mindestens ein Bild von einem Aufnahmemittel des Fahrzeuges abgebildet wird, im Wesentlichen ein und demselben virtuellen Beobachtungspunkt auf die Fahrzeugumgebung entsprechen.
Alternativ oder zusätzlich ist eine ergänzende Übertragung der Ansicht vom Cockpit des Fahrzeuges denkbar, welche insbesondere in etwa aus der Fahrerposition oder vom Himmel des Fahrzeuges aufgenommen wird, z. B. mittels einer weitwinkligen Kamera, die im Fahrzeuginnenraum vorgesehen ist. Diese Ansicht wird mit der erfindungsgemäßen Darstellung kombiniert oder manuell oder automatisch umschaltbar dargestellt.
In einer weiteren, besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens enthält die generierte Darstellung ein Fahrzeugmodell, wobei die Perspektive, in der das Fahrzeugmodell dargestellt wird, im Wesentlichen der Perspektive der virtuellen Fahrbahnebene entspricht, wobei beide Perspektiven vorzugweise demselben virtuellen Beobachtungspunkt entsprechen, und die Lage des Fahrzeugmodells zur virtuellen Fahrbahnebene im Wesentlichen der tatsächlichen Lage des Fahrzeuges relativ zur Fahrbahn entspricht. Bevorzugt stimmt dabei der Abbildungsfaktor der auf der Fahrbahnebene abgebildeten Fahrbahnabschnitte mit dem Abbildungsfaktor des zumindest unteren Teils des Fahrzeuges bezogen auf dieselbe Länge in der Fahrtrichtung des Fahrzeuges überein. Somit kann der Nutzer der mobilen Einheit die Perspektive, in der die Fahrzeugumgebung durch das erfindungsgemäße Verfahren dargestellt wird, stets anhand der Perspektive des dargestellten Fahrzeugmodells erkennen.
Das Fahrzeugmodell kann als eine räumlich wirkende Grafik, die das eigene Fahrzeug darstellt, ausgestaltet werden, wobei insbesondere an der Lage der Außenkanten des Modells und/oder an der Abbildung typischer Designelemente des Fahrzeuges die räumliche Ausrichtung des Modells erkennbar ist. Die perspektivische Abbildung des Fahrzeugmodells beinhaltet nicht eine Draufsicht oder eine frontale Ansicht auf das Fahrzeug von hinten oder von vorne. Das Fahrzeugmodell kann besonders betonte Kanten, insbesondere Außenkanten, enthalten, bevorzugt solche, die die räumliche Wirkung der Grafik verstärken. Das Fahrzeugmodell kann die speziellen Eigenschaften des Fahrzeuges, wie z. B. Farbe, modellspezifische Merkmale etc., zumindest symbolhaft wiedergeben.
Vorteilhafterweise kann die virtuelle Fahrbahnebene mit wenigstens einer weiteren virtuellen Ebene ergänzt werden, auf die ein Teil der Fahrzeugumgebung abgebildet wird und welche insbesondere zu der virtuellen Fahrbahnebene als senkrecht stehend dargestellt wird. Der abgebildete Teil der Fahrzeugumgebung wurde dabei mit Aufnahmemitteln am Fahrzeug aufgenommen und kann beliebige Bereiche der Fahrzeugumgebung enthalten. Die Abbildung des Teils der Fahrzeugumgebung auf die wenigstens eine weitere virtuelle Ebene erfolgt vorzugsweise wiederum mittels einer geometrischen Transformation, welche derart angewandt wird, dass die Transformation des Teils der Fahrzeugumgebung im Wesentlichen der Perspektive entspricht, in der die wenigstens eine weitere virtuelle Ebene dargestellt ist. Auf diesen weiteren virtuellen Ebenen werden vorzugsweise Bereiche der Fahrzeugumgebung dargestellt, die im Wesentlichen aus einer anderen Perspektive aufgenommen sind als die wenigstens zwei Bilder, die in der virtuellen Fahrbahnebene wiedergegeben sind. Diese können insbesondere von einem Aufnahmemittel kommen, welches an einer anderen Stelle im Fahrzeug verbaut ist. Somit wird für den Betrachter eine Art virtueller Raum gebildet, der die Umgebung des Fahrzeuges anhand mehrerer Perspektiven darstellt, wobei die Darstellungsart die Information über die jeweiligen Perspektiven beinhaltet.
Vorzugsweise enthalten dabei das oder die in der wenigstens einen weiteren virtuellen Ebene wiedergegebenen Bilder eine vordere und/oder hintere und/oder seitliche perspektivisch erfasste Umgebung des Fahrzeugs.
Vorzugsweise wird der Bezug der virtuellen Ebenen, d. h. der wenigstens einen weiteren virtuellen Ebene und/oder der virtuellen Fahrbahnebene, zu den Stellen des Fahrzeuges, wo sich die Aufnahmemittel befinden, grafisch verdeutlicht. Dies kann insbesondere durch die Positionierung der virtuellen Ebenen innerhalb der Darstellung, insbesondere relativ zum Fahrzeugmodell, erfolgen. Alternativ oder zusätzlich kann dies z. B. durch Verbindungslinien erfolgen, die zusätzlich in die Darstellung eingeblendet werden und eine Verbindung zwischen den Teilen des Fahrzeugmodells und den virtuellen Ebenen, insbesondere deren Eckpunkten, herstellen. Somit kann auch ein neuer Benutzer besonders sicher sein, die Darstellung richtig zu interpretieren.
Vorzugsweise wird das Verfahren derart ausgestaltet, dass die wenigstens eine weitere virtuelle Ebene und die virtuelle Fahrbahnebene in einem solchen perspektivischen Zusammenhang zueinander und/oder zum Fahrzeugmodell dargestellt werden, dass der perspektivische Zusammenhang im Wesentlichen dem perspektivischen Zusammenhang in der realen Fahrzeugumgebung, insbesondere bezogen auf einen vorgegebenen Beobachtungspunkt, entspricht. Somit kann der Nutzer der mobilen Einheit die Ansichten auf bestimmte Bereiche der Fahrzeugumgebung, die auf den virtuellen Ebenen abgebildet sind, anhand der gut erkennbaren und interpretierbaren Perspektive, aus der das Fahrzeugmodell dargestellt ist, den realen räumliche Gegebenheiten zuordnen.
In einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird die Perspektive, in welcher die virtuelle Fahrbahnebene und/oder die wenigstens eine weitere virtuelle Ebene wiedergegeben werden, abhängig von aktuellen odometrischen Daten des Fahrzeuges, z. B. Geschwindigkeit, Lenkwinkel etc. des Fahrzeuges, und/oder erkannter Fahrabsicht verändert. Die Veränderung kann sich auf die Perspektive aller virtuellen Ebenen beziehen, wobei der Zusammenhang zwischen einzelnen Perspektiven untereinander im Wesentlichen beibehalten wird. Die entsprechende notwendige Anpassung der Perspektiven der virtuellen Fahrbahnebene und gegebenenfalls weiterer virtueller Ebenen kann durch Veränderung der Form, Ausrichtung der entsprechenden Ebenen und der einhergehenden Veränderung der Abbildungsfunktion des jeweiligen Bildes zu der entsprechenden Ebene erreicht werden.
Die Fahrabsicht des Fahrers, welcher das Fahrzeug auch drahtlos steuern kann, ist dabei z. B. auch anhand der Auswertung der Fahrzeugdaten, z. B. des aktuell eingelegten Gangs oder der Position der Getriebestellung (Rückwärtsgang, Vorwärtsgang, Parkposition), und/oder anhand der automatischen Auswertung seines Verhaltens erkennbar. Die Auswertung des Verhaltens des Fahrers kann z. B. die vom Fahrer zuletzt durchgeführte Bedienaktion oder spezielle Kombinationen der Bedienaktionen beinhalten.
In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung wird die generierte Darstellung in Abhängigkeit von der Verkehrssituation geändert, welche bevorzugt durch Mittel im Fahrzeug, beispielsweise mit Hilfe eines Navigationssystems oder mittels einer automatischen z. B. sensorbasierten Situationsauswertung, erfasst oder detektiert wird. Ein vorbestimmtes Ereignis kann beispielsweise das Auftreten eines Hindernisses in der Umgebung des Fahrzeugs sein, wobei das Hindernis mit einer bildgebenden Vorrichtung detektiert wird, insbesondere mittels einer Umfeldsensierung, welche die Topographie der Umgebung erfasst. Vorbestimmte Ereignisse können ferner den drahtlosen Empfang von Signalen von Verkehrsteilnehmern oder anderen Objekten umfassen.
Denkbar ist beispielsweise eine Veränderung der generierten Darstellung in Abhängigkeit von bekannten und/oder automatisch ermittelten Gefahrenquellen oder anderen Verkehrsteilnehmern. Das hierzu erforderliche Vorwissen über bekannte Gefahrenquellen kann beispielsweise einer elektronischen Straßenkarte entstammen. Es kann auch drahtlos von einem Service-Anbieter bezogen werden. Die Anwesenheit und gegebenenfalls die genaue Position und/oder weitere Daten anderer Verkehrsteilnehmer können dem Fahrzeug beispielsweise mittels Fahrzeug-zu-Fahrzeug-Kommunikation und/oder Fahrzeug-zu-Infrastruktur-Kommunikation bekannt gemacht werden.
Ein Objekt in der Umgebung eines Fahrzeugs kann auch erkannt werden, weil es über einen RFID-Chip oder ein ähnliches detektierbares Merkmal verfügt. Ein solches RFID-basiertes erkanntes Objekt kann beispielsweise in ein Kamerabild oder in ein künstlich, auf Basis eine ultraschallbasierten Erfassung der Umgebung erzeugtes Bild eingezeichnet werden.
Wenn ein anderer Verkehrsteilnehmer, insbesondere ein anderes Fahrzeug und/oder ein Fußgänger, mit einem RFID-Chip oder anderen drahtlosen Kommunikationsmitteln ausgerüstet ist, kann dieser Verkehrsteilnehmer auch auf Basis einer Erkennung dieses Chips von dem Kraftfahrzeug detektiert und lokalisiert werden.
Die virtuelle Blickrichtung kann somit automatisch z. B. hin zum relevanten Objekt verändert werden. Die Darstellung kann somit automatisch, beispielsweise abhängig von einem Gefährdungspotential, insbesondere Kollisionsgefährdungspotential, das einem Objekt, z. B. einem Verkehrsteilnehmer in der aktuellen Fahrsituation beigemessen wird, derart angepasst werden, dass die generierte Darstellung dieses Objekt, z. B. den Verkehrsteilnehmer, umfasst und/oder aus einer bestimmten Perspektive zeigt. Die Perspektive kann z. B. derart gewählt sein, dass die Sichtbarkeit des Objekts und/oder Orientierungsmöglichkeit des Fahrers verbessert wird.
Neben anderen Verkehrsteilnehmern können auch andere Objekte und Zustände der Fahrzeugumgebung auf Basis der Erfassung der Information aus RFID-Chips automatisch erfasst und eine automatische Veränderung der erfindungsgemäßen Darstellung bewirken. Denkbar ist beispielsweise die RFID-basierte Detektion und gegebenenfalls Lokalisierung von Verkehrszeichen, Kreuzungen, Abzweigungen, Einmündungen, Ampeln und Parkgelegenheiten. Auch in Abhängigkeit von solchen Objekten und deren Anordnung bezüglich des Kraftfahrzeugs kann der virtuelle Blickwinkel der Darstellung situativ angepasst werden, so dass die perspektivischen Zusammenhänge zwischen den einzelnen dargestellten Fahrzeugumgebungsbereichen erhalten bleiben.
Die RFID-Detektion kann auch Objekte betreffen, die nicht unmittelbar das Fahrgeschehen betreffen, sondern kommerziellen Zwecken dienen und/oder zur allgemeinen Infrastruktur gehören, z. B. Briefkästen, freie Parkplätze, Parkticketautomaten, Restaurants, Verkaufsautomaten, etc. Die generierte Darstellung kann situativ auch derart angepasst werden, dass solche Objekte dem Fahrer bzw. dem Nutzer der mobilen Einheit aus einer z. B. vorangestellten Perspektive angezeigt werden. Ein Objekt, beispielsweise ein freier Parkplatz, kann dem Fahrer bzw. dem Nutzer der mobilen Einheit somit in der Fahrzeugumgebung insbesondere in einem perspektivisch dargestellten räumlichen Zusammenhang mit dem Modell seines Fahrzeugs dargestellt werden.
Zusätzlich zu der durch RFID-Chips beeinflussten Anpassung der generierten Darstellung kann auch zumindest eine aus dem jeweiligen RFID-Chip ausgelesene Information betreffend das mit dem RFID-Chip ausgerüstete Objekt oder seinen aktuellen Zustand durch die erfindungsgemäß vorgesehene Anzeigeeinheit angezeigt werden. Statt der Anzeige der Information durch die Anzeigeeinheit kann selbstverständlich auch die Anzeige der Information durch eine andere Informationsvermittlungseinheit veranlasst werden. Die generierte Darstellung kann beispielsweise, wie oben erwähnt, derart angepasst werden, dass dem Fahrer bzw. dem Nutzer der mobilen Einheit im dargestellten Umgebungsausschnitt ein freier Parkplatz angezeigt wird. Zudem kann – eingeblendet in das Bild des Umgebungsausschnitts oder auf einer anderen Stelle der Anzeigeeinheit der mobilen Einheit – als weitere Information aus dem RFID-Chip ausgelesen werden und dem Fahrer bzw. dem Nutzer der mobilen Einheit angezeigt werden, welche Parkgebühren für eine Benutzung des Parkplatzes anfallen würden.
In einer Ausführungsform der Erfindung wird die generierte Darstellung derart verändert, dass der durch die Darstellung generierte virtuelle Blickwinkel auf die virtuelle Fahrbahnebene und/oder auf die wenigstens eine weitere virtuelle Ebene verändert wird, jedoch die perspektivischen Relationen der in der Darstellung enthaltenen Bilder unverändert bleiben. In einer besonders bevorzugten Ausführungsform wird die generierte Darstellung dabei derart verändert, dass die perspektivische Wiedergabe der Fahrzeugumgebung gedreht und/oder gekippt wird, insbesondere um eine zur virtuellen Fahrbahnebene vertikalen Achse. Hierdurch kann besonders einfach eine Ansicht auf die Umgebung des Fahrzeuges dargestellt werden, die einer Bewegung entspricht, insbesondere einer Be wegung rund um das Fahrzeug, die z. B. aus einer Höhe simuliert wird, die der Größe eines Menschen entspricht.
In einer weiteren, besonders bevorzugten Ausführungsform der Erfindung kann die generierte Darstellung ferner derart ausgestaltet sein, dass eine binokular wahrnehmbare Tiefenwirkung in der Darstellung der virtuellen Ebenen generiert wird. Insbesondere wird jedem Teil der Fahrbahnebene und/oder gegebenenfalls der zusätzlichen virtuellen Ebenen die wahrnehmbare Tiefe zugewiesen, die anhand der perspektivischen Ausrichtung nach oben definierten Kriterien entspricht. Die Anzeige einer derart ermittelten Darstellung kann z. B. mittels einem 3D-fähigem Display realisiert werden. Insbesondere werden dabei die Fahrzeugumgebungsbereiche, die an sich auch nur zweidimensional aufgenommen werden, auf den virtuellen Ebenen dargestellt werden, die in einer erfindungsgemäß darzustellenden Perspektive entsprechenden räumlichen Position, insbesondere relativ zu einer anderen virtuellen Ebene, wiedergegeben werden. Somit ergibt sich der Vorteil einer räumlichen und somit einer leicht verständlichen und ästhetisch vorteilhaften Darstellung, ohne dass die Aufnahmemittel notwendigerweise räumliche, z. B. stereoskopische Bilder aufnehmen können.
Alternativ oder zusätzlich dazu kann die räumliche Wirkung einzelner virtueller Flächen und/oder des Fahrzeugmodells auch durch eine adaptive Steuerung der Bildschärfe je nach Bildbereich innerhalb der wenigstens einer virtuellen Ebene dargestellt werden. Die Teile der virtuellen Ebenen, die deutlich näher oder tiefer als eine bestimmte Bildtiefe wahrgenommen werden sollen, werden erfindungsgemäß weniger scharf abgebildet als Bildteile, die dieser bestimmten Bildtiefe entsprechen. Das menschliche Sehsystem besitzt die Eigenschaft, diese Bildschärfeunterschiede zur räumlichen Interpretation der Szene zu nutzen. Erfindungsgemäß wird durch die adaptive Steuerung der Bildschärfe einzelner Bereiche der Bildebenen die perspektivische Ausrichtung der entsprechenden Bilder betont. Die Steuerung der Bildschärfe einzelner Bildbereiche kann z. B. durch Anwendung bekannter digitaler Schärfe- bzw. Weichzeichnungsfilter oder durch Ausnutzung optischer Effekte eines Aufnahmemittels erreicht werden.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die virtuelle Fahrbahnebene in Abhängigkeit von der räumlichen Form der auf diese abgebildeten Fahrbahnabschnitte und/oder der darauf befindlichen Objekte verformt. Hierdurch können besonders einfach und für den Fahrer leicht verständlich Gefahrenquellen hervorgehoben werden. Die Verformung der Fahrbahnebenen kann z. B. durch die Verformung einer dieser Ebenen überblendeten Gitterstruktur und/oder durch eine weitere geometrische Transformation auf die virtuelle Fahrbahnebene einschließlich dem darauf abgebildeten Bild visualisiert bzw. betont werden.
In einer weiteren Ausführungsform wird die generierte Darstellung gegebenenfalls durch eine oder mehrere Warnhinweise ergänzt, welche die Kennzeichnung einer möglichen Kollisionsstelle von einem oder mehreren Teilen des Fahrzeugs, insbesondere von Türen und/oder Klappen des Fahrzeugs, mit einem oder mehreren Objekten in der Umgebung des Fahrzeugs umfassen. Die Warnhinweise können z. B. als ein grafisches, insbesondere räumlich wirkendes Symbol ausgestaltet werden. Ein Warnhinweis kann derart in die Darstellung integriert werden, dass der räumliche Bezug zwischen dem Objekt, von welchem die Gefahr ausgeht, und der potentiell gefährdeten Stelle des Fahrzeuges visualisiert wird. Ein Warnhinweis kann z. B. an einer Stelle zwischen einem Hindernis und dem potentiell gefährdeten Fahrzeugbereich, z. B. einer Fahrzeugtür, dargestellt werden, z. B. an der Stelle eines möglichen Schadens, der beim unvorsichtigen Aufmachen der Tür entstehen kann.
In einer weiteren, besonders bevorzugten Ausführungsform sind in der generierten Darstellung ein oder mehrere Trajektorien und/oder Symbole enthalten, die den künftigen Positionen von mindestens einem Fahrzeugteil entsprechen, wobei die Trajektorien insbesondere auf einer vorausberechneten oder beabsichtigten Bewegungsrichtung des Fahrzeugs basieren. Diese Darstellung kann die Darstellung einer künftigen Position eines Fahrzeugteils, z. B. die Darstellung der Position eines Karosseriebereiches zu einem in der nahen Zukunft liegenden Zeitpunkt, umfassen. Zum Beispiel kann die errechnete künftige Position einer Stoßstange des Fahrzeuges zu mindestens einem Zeitpunkt, z. B. nach einer, zwei und drei Sekunden, dargestellt werden. Diese Positionen können z. B. unter der Voraussetzung, dass der Fahrer seine Fahrweise beibehält, besonders einfach vorausberechnet werden. Die Positionen des Fahrzeuges bzw. von Fahrzeugteilen können in einer analogen Weise wie die Darstellung unterschiedlicher Bereiche der Fahrzeugumgebung dargestellt werden.
Bei der Darstellung der beabsichtigen Bewegung des Fahrzeuges können die Folgen der Ausführung eines automatischen bzw. teilautomatischen Verfahrens zur Bewegung, insbesondere zum Einparken eines Fahrzeuges, visualisiert werden.
In einer vorteilhaften Ausführung des erfindungsgemäßen Verfahrens ist eine drahtlose Steuerung der Fahrfunktionen des Fahrzeuges, z. B. von Gas, Bremse, Lenkung, durch die mobile Einheit die bevorzugt als ein Mobiltelefon ausgestaltet ist, vorgesehen. Hierdurch kann ein Fahrzeugmanöver gesteuert werden, bei dem es sich insbesondere um ein Park- und Rangiermanöver eines Fahrzeuges, insbesondere eines Kraftfahrzeuges, handelt. Besonders vorteilhaft ist die Ausgestaltung des erfindungsgemäßen Verfahrens, bei der eine Korrektur des Fahrzeugmanövers ermöglicht wird, wobei die Korrektur durch Mittel des Fahrzeugs ermittelt wird. Das Fahrzeugmanöver wird dabei zumindest teilweise automatisch durchgeführt. Die durch die Mittel des Fahrzeuges vorausberechnete und bevorzugt an der Anzeigeeinheit der mobilen Einheit dargestellte Trajektorie und/oder Endposition des Fahrzeuges bei einem Manöver kann bevorzugt vor oder während der Durchführung des Manövers durch den Benutzer verändert werden.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens enthält die generierte Darstellung die Instrumentenanzeigen des Fahrzeuges und/oder grafische Bedienelemente. Die Instrumentenanzeigen können übliche aus der Fahrzeugtechnik bekannte und dem Fahrer darzustellende Informationen, insbesondere Anzeigen über die odometrischen Daten und/oder den Zustand des Fahrzeuges, enthalten. Bevorzugt kann die Steuerung mittels grafischer Steuerungselemente erfolgen, die in das erfindungsgemäß erzeugte Bild integriert sind. Die grafischen Steuerungselemente sind insbesondere als grafische Symbole mit einer Tiefenwirkung ausgestaltet und zeigen vorzugsweise die Steuerungsfunktionen im räumlichen Zusammenhang mit der Darstellung an. Alternativ oder zusätzlich kann die Steuerung auch durch die vorhandenen Bedienelemente der mobilen Einheit, z. B. des Mobiltelefons, erfolgen. In diesem Falle können die grafischen, in die Darstellung eingeblendeten Steuerelemente lediglich die durch den Benutzer durchgeführte Aktion abbilden. Somit kann eine besonders intuitive und unmissverständliche Steuerung eines Manövers realisiert werden.
In einer besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens ist eine Kontrolle über die Durchführung eines wenigstens teilweise automatisch ausgeführ ten Manövers vorgesehen. Insbesondere kann die Kontrolle über den Start, die Unterbrechung, Beendigung, Änderung des wenigstens teilweise automatisch durchgeführten Manövers durch den Benutzer erfolgen, wobei das Manöver z. B. durch ein automatisches Einparksystem des Fahrzeuges durchgeführt wird.
Besonders vorteilhaft ist ein Verfahren, bei dem die Durchführung eines wenigstens teilweise automatisch durchgeführten Manövers durch den Benutzer ständig oder in kurzen Zeitabschnitten und/oder in kurzen, vom Fahrzeug gefahrenen Distanzabschnitten zur Fortsetzung des Manövers bestätigt werden muss. Besonders vorteilhaft ist ein Verfahren, bei dem eine variable Aktion durch den Benutzer durchgeführt werden soll, die eine visuelle Referenzierung mit dem auf der Anzeigeeinheit der mobilen Einheit dargestelltem Bild erfordert, damit das wenigstens teilweise automatisch durchgeführte Manöver fortgeführt wird. Die mobile Einheit kann eine permanente oder hinreichend häufige Reaktion des Bedieners auf veränderliche Anzeigen oder Aktionen der mobilen Einheit verlangen. Somit wird die Gefahr, dass der Benutzer z. B. einen Einparkvorgang durch sein Mobiltelefon startet und diesen nicht hinreichend überwacht, sehr viel geringer. Die variable Aktion kann z. B. durch die Betätigung eines Touchscreen-Icons erfolgen, der an unterschiedlichen Stellen des Bildschirmes angezeigt wird. Somit wird sichergestellt, dass der Benutzer bei der Durchführung eines zumindest teilautomatischen Manövers die Darstellung der Umgebung des Fahrzeuges ständig oder hinreichend oft an der Anzeigeeinheit der mobilen Einheit, z. B. eines Mobiltelefons, betrachtet.
Besonders bevorzugt ist ein Verfahren, bei dem auf der mobilen Einheit eine automatisch ermittelte Ansicht, die einer vorausberechneten künftigen Fahrzeugposition entspricht, generiert wird. Dabei kann die künftige Position insbesondere einer Position des Fahrzeuges nach einer geplanten Bewegung, z. B. nach einem Teil eines Park- oder Rangiermanövers, entsprechen. Besonders bei einer Ausgestaltung des erfindungsgemäßen Verfahrens, bei der eine virtuelle Fahrbahnebene generiert wird, bietet dies einen deutlichen Vorteil, weil die Position des Fahrzeuges nach einem geplanten Manöverabschnitt innerhalb des Nahfeldes des Fahrzeuges ersichtlich wird, und zwar relativ zu bestimmten, durch wenigstens ein Aufnahmemittel des Fahrzeuges erfassten Umgebungsbereichen, z. B. Fahrbahnabschnitten und/oder Objekten auf der Fahrbahn. Diese Umgebungsbereiche können unschwer vorausberechnet und in der virtuellen Ebene derart dargestellt wer den, dass die vorausberechnete künftige Position dieser Umgebungsbereiche ersichtlich wird.
In einer besonders vorteilhaften Ausgestaltung können die Perspektive und/oder die Abbildungsgröße der erfindungsgemäßen Darstellung mit der mobilen Einheit, bevorzugt mittels eines Touch-Screen, verändert werden. Somit kann ein besonders vorteilhaftes Heranzoomen einer Ansicht, insbesondere einer durch den Benutzer ausgewählten virtuellen Ebene realisiert werden. Das Heranzoomen einer virtuellen Ebene bzw. eines Bereiches dieser Ebene kann dabei mit einer perspektivischen Veränderung verbunden sein, z. B. wird dabei eine bisher perspektivisch stark transformierte virtuelle Ebene mit einer veränderten, insbesondere geringeren oder keinen perspektivischen Transformation dargestellt. Erfindungsgemäß kann dabei die Information über die vom Benutzer durch die mobile Einheit abgerufene Perspektive und/oder eine zu vergrößernde bzw. zu verkleinernde virtuelle Ebene durch die mobile Einheit erfasst und an das Fahrzeug übertragen werden, so dass die Generierung des Bildes in der Bildverarbeitungseinheit des Fahrzeuges stattfinden kann.
In einer vorteilhaften Ausgestaltung des Verfahrens wird das Bildsignal vom Fahrzeug erzeugt und an die mobile Einheit übertragen, wobei die Erzeugung und/oder Übertragung des Bildsignals durch ein Aktivierungssignal der mobilen Einheit und/oder des Fahrzeugs aktiviert wird. Somit kann das erfindungsgemäße Verfahren zur Kontrolle über das stehende Fahrzeug nach Benutzerwunsch aktiviert werden. Durch die erfindungsgemäße Darstellung erhält der Benutzer eine sehr aussagekräftige Information, z. B. über die aktuelle Parkposition seines Fahrzeuges, bereits mit nur einem Standbild. Somit kann der Benutzer z. B. jederzeit eine aussagekräftige Information über die Umgebung seines Fahrzeuges und die darin enthaltenen Objekte bekommen. Er kann auch auf den Aufenthaltsort, z. B. die Parkposition des Fahrzeuges, schließen und gegebenenfalls ein gestohlenes oder verlorenes Fahrzeug auffinden.
Vorteilhafterweise kann die Aktivierung der erfindungsgemäßen Darstellung automatisch durch ein automatisch, insbesondere durch Mittel des Fahrzeuges generiertes Signal erfolgen, z. B. ein Signal von einer Diebstahlwarnanlage des Fahrzeuges, welches einen möglichen Einbruch signalisiert, und/oder ein Signal von den Beschleunigungssensoren des Fahrzeuges, welches eine Kollision oder Beschädigung des Fahrzeuges, z. B. durch ein anderes Fahrzeug, signalisiert.
Somit kann auch einer unnötigen Aufnahme der Fahrzeugumgebung durch das Aufnahmemittel und/oder einer unnötigen Generierung der erfindungsgemäßen Darstellung durch die Bildverarbeitungseinheit des Fahrzeuges sowie der damit eventuell verbundenen Batterieentladung des Fahrzeuges vorgebeugt werden.
In einer besonders bevorzugten Ausgestaltung des Verfahrens wird die mobile Einheit zur Entriegelung und/oder zur Aktivierung von Funktionen des Fahrzeuges, insbesondere des stehenden Fahrzeuges, benutzt, wobei im Zusammenhang mit diesem Vorgang die Darstellung der Umgebung des Fahrzeuges auf der Anzeigeeinheit der mobilen Einheit automatisch aktiviert werden kann.
Neben dem oben beschriebenen Verfahren zur Darstellung der Umgebung eines Fahrzeuges umfasst die Erfindung ein entsprechendes Informationssystem zur Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit, umfassend ein Aufnahmemittel, mit dem wenigstens ein Bild der Umgebung des Fahrzeuges erzeugbar ist, einen Sender am Fahrzeug zum Aussenden mindestens eines Bildsignals, wobei das mindestens eine Bildsignal vor und/oder nach dem Aussenden zur Generierung einer Darstellung auf der mobilen Einheit durch eine Bildverarbeitungseinheit verarbeitbar ist, eine mobile Einheit zum Empfang des mindestens einen Bildsignals, wobei durch das mindestens eine Bildsignal eine Darstellung auf der mobilen Einheit generierbar ist, welche wenigstens eine perspektivisch angeordnete virtuelle Ebene enthält, auf welche das wenigstens eine mit dem Aufnahmemittel des Fahrzeuges aufgenommene Bild umfassend die Umgebung des Fahrzeugs abgebildet ist.
Das Informationssystem kann dabei derart realisiert werden, dass jede der oben beschriebenen bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens mit diesem System durchführbar ist. Die Erfindung betrifft darüber hinaus ein Fahrzeug, insbesondere ein Kraftfahrzeug mit zugeordneter mobiler Einheit, umfassend das soeben beschriebene Informationssystem. Die Bildverarbeitungseinheit kann mit dem Aufnahmemittel oder mit der mobilen Einheit als ein Gerät kombiniert werden.
Im Folgenden werden anhand der beigefügten Zeichnungen bevorzugte Ausführungsbeispiele der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung. Im Rahmen der Erfindung sind verschiedene Änderungen und Modifikationen möglich, ohne den Umfang der Erfindung sowie ihrer Äquivalente zu verlassen. Insbesondere kann das erfindungsgemäße System bzw. das entsprechende Verfahren aufgrund der gesetzlichen oder landesspezifischen Vorgaben abweichend gestaltet werden.
Die geschilderten Ausführungsbeispiele, Ausführungsformen und Weiterbildungen sind, sofern nicht anders angegeben und/oder technisch ausgeschlossen, sowohl einzeln als auch in jeder beliebigen Kombination miteinander anwendbar und vorteilhaft.
Im Einzelnen zeigen:
1 eine schematische Darstellung der Seitenansicht eines Kraftfahrzeugs mit einer Anordnung von Nahfeldkameras und deren Sichtfelder;
2 eine Draufsicht auf das Kraftfahrzeug der 1 mit entsprechend dargestellten Sichtfeldern der Nahfeldkameras;
3 und 4 jeweils eine Anzeigefläche einer Anzeigeeinheit, welche bekannte Darstellungsarten des Umfelds des Kraftfahrzeugs zeigen;
5 bis 8 jeweils eine Anzeigefläche einer Anzeigeeinheit einer mobilen Einheit, welche Darstellungsarten des Umfelds des Kraftfahrzeugs gemäß Ausführungsformen des erfindungsgemäßen Verfahrens wiedergeben;
9 eine schematische Darstellung einer bevorzugten Ausgestaltung einer Bildtransformation zur Realisierung des erfindungsgemäßen Verfahrens;
10 eine Anzeigefläche einer Anzeigeeinheit einer mobilen Einheit, wobei die Veränderung der Darstellung des Umfelds des Kraftfahrzeugs gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens angedeutet ist,
11 und 12 zwei Ausführungsformen von in dem erfindungsgemäßen Verfahren verwendeten mobilen Einheiten.
1 zeigt ein Kraftfahrzeug 1 mit einer Mehrzahl von Nahfeldkameras 2, 3 und 4. Die Nahfeldkamera 2 stellt dabei eine Rückfahrkamera dar, deren Sichtwinkel mit γ bezeichnet ist. Diese Kamera überwacht den hinteren Bereich des Kraftfahrzeugs, wobei ein entsprechendes Bild des hinteren Fahrbahnbereichs auf einer (nicht gezeigten) Anzeigeeinheit in der Form eines Displays im Fahrzeuginneren oder einer mobilen Einheit, insbesondere eines Mobiltelefons, angezeigt werden kann. Hierdurch kann der Fahrer bzw. der Nutzer der mobilen Einheit beim Rangieren, beispielsweise beim Einparken, den Abstand zu rückwärtigen Objekten überwachen und eine Kollision vermeiden.
Ferner sind die in die Rückspiegeln integrierten, sog. Top-View-Kameras 3 vorgesehen, wobei in 1 nur eine der Kameras auf der linken Seite des Fahrzeugs wiedergegeben ist. Der Winkel des Sichtfelds dieser Kamera ist mit α bezeichnet. Die Kamera dient zum Erfassen des Fahrbahnbereichs an der Längsseite des Fahrzeugs 1. Analog zur Rückfahrkamera 2 kann der mit der Kamera 3 erfasste Fahrbahnbereich auf der Anzeigeeinheit im Fahrzeuginnenraum oder auf der mobilen Einheit wiedergegeben werden. Im vorderen Bereich des Kraftfahrzeugs auf der linken und rechten Seite sind zwei weitere Kameras 4 vorgesehen. Es handelt sich hierbei um sog. Side-View-Kameras, welche den vorderen linken und rechten Fahrbahnbereich überwachen und deren Bild ebenfalls auf der Anzeigeeinheit der mobilen Einheit dargestellt werden kann. In 1 ist wiederum nur die auf der linken Seite des Fahrzeugs 1 vorgesehene Kamera gezeigt. Der Winkel des Sichtfelds dieser Kamera ist mit β bezeichnet. Die Side-View-Kameras dienen insbesondere zur Erfassung von Bereichen der Fahrzeugumgebung, welche aufgrund einer bestimmten Verkehrssituation nicht vom Fahrer direkt gesehen werden können, beispielsweise die Erfassung von seitlich von dem vorderen Fahrzeugbereich befindlichen Objekten, z. B. beim Verlassen einer Garage.
2 zeigt eine Draufsicht auf das Fahrzeug 1 der 1, aus der die Ausdehnung der Sichtfelder der Kameras in der Fahrbahnebene ersichtlich wird. Das Sichtfeld der hinteren Kamera 2 ist mit 102, das Sichtfeld der beiden seitlichen Kameras 3 mit 103 bzw. 103' und das Sichtfeld der vorderen Kameras 4 mit 104 bzw. 104' bezeichnet. Durch die einzelnen Kameras wird ein großer Bereich der Umgebung des Fahrzeugs erfasst. Die Top-View-Kameras 3 sind dabei weitwinklige Kameras mit Erfassungswinkeln nach unten und zum Teil schräg nach hinten. Das Sichtfeld deckt die linke bzw. rechte Seite der Fahrbahn neben dem Fahrzeug ab. Das Bild dieser Kameras wird für die Darstellung auf der Anzeigeeinheit der mobilen Einheit unter Anwendung einer geometrischen Transformation derart verformt, dass ein virtueller Blick von schräg nach vorne auf die entsprechenden Fahrbahnbereiche entsteht. Dieser virtuelle Blick wird mit symbolischen Platzhaltern, insbesondere mit einem grafischen Kraftfahrzeugmodell aus derselben Perspektive, aus der die virtuelle Fahrbahnebene generiert wird, zur besseren Orientierung ergänzt und auf der Anzeigeeinheit angezeigt. Ferner kann die virtuelle Fahrbahnebene durch die Bilder der Top-View-Kameras 4 mit dem durch eine Transformation in die entsprechende Perspektive überführten Bild der Rückfahrkamera 3 ergänzt werden.
Bei dem aus dem Stand der Technik bekanntem Verfahren (3) zeigt eine solche Darstellung auf einer Anzeigeeinheit 5 die Bilder der Top-View-Kameras und der Rückfahrkamera, wobei die Anzeigefläche der Anzeigeeinheit quer zur Fahrtrichtung verläuft, d. h. die Längskanten der Anzeigeeinheit liegen im Wesentlichen quer zur Fahrtrichtung. Der symbolisch dargestellte Fahrzeugumriss ist in 3 mit dem Bezugszeichen 1' bezeichnet. Die beiden seitlich durch die Top-View-Kameras erfassten Bereiche sind mit den Bezugszeichen 103 bzw. 103' versehen und der mit der Rückfahrkamera erfasste Bereich ist mit dem Bezugszeichen 102 bezeichnet. Die verwendeten Bezugszeichen stimmen dabei. mit den entsprechenden Sichtfeldern gemäß 2 überein. Wie oben dargelegt, handelt es sich bei den einzelnen Bildbereichen um entsprechend transformierte Bilder, wodurch eine virtuelle Draufsicht von oben generiert wird. In der Darstellung der 3 sind die Bilder der beiden Side-View-Kameras 4 nicht enthalten. Diese Bilder werden üblicherweise in einem anderen Anzeigemodus auf der Anzeigefläche der Anzeigeeinheit dargestellt, wobei eine solcher Anzeigemodus in 4 wiedergegeben ist. In Übereinstimmung mit den entsprechenden Sichtfeldern gemäß 2 sind die erfassten Bildbereiche der Side-View-Kameras in 4 mit dem Bezugszeichen 104 bzw. 104' bezeichnet.
Ein grundsätzliches, allgemein bekanntes Problem in Fahrzeugen mit einer Vielzahl von verbauten Kameras besteht darin, dass besonders ein unerfahrener Benutzer die entsprechenden Bilder nur mit einem erheblichen Aufwand und oft fehlerhaft zu der realen Umgebung beziehen kann. Selbst die Zuordnung der Richtungen ist schwierig. Es ist für den Benutzer z. B. auch schwer vorauszusagen, in welche Richtung und wie schnell sich die Objekte in den Kamerabildern bewegen werden, wenn er eine bestimmte Fahraktion tätigt. Wenn die Kamerabilder hingegen umschaltbar und/oder nacheinander auf dem Display dargestellt werden, überfordert es den Fahrer ebenfalls. Er rechnet nicht mit dem Auftritt eines Hindernisses, welches momentan nicht dargestellt wird. Im Besonderen weist die bekannte Darstellung auf der Anzeigeeinheit 5 gemäß 3 den Nachteil auf, dass durch die verdrehte Darstellung des Fahrzeugs bzw. der mit den Kameras erfassten Bereichen ein quer zur Fahrtrichtung verlaufendes Bild erzeugt wird. Insbesondere muss der Fahrer laufend eine gedankliche „Koordinatenumrechnung” durchführen, um die in der Anzeigeeinheit quer verlaufende Fahrtrichtung der tatsächlichen Fahrtrichtung zuzuordnen.
Zur Lösung des obigen Problems ist es zwar denkbar, das entsprechend dargestellte Bild des Fahrzeugs in 3 um 90° in eine vertikale Position zu verdrehen. Hierdurch wird eine leichtere Zuordnung der mit den Kameras erfassten Umgebung des Fahrzeugs zur Fahrtrichtung erreicht, da die dargestellte Fahrtrichtung mit der tatsächlichen Fahrtrichtung übereinstimmt. Durch die längliche Form des Bildschirms, welche derzeit nahezu Kinoformat aufweist, gerät jedoch eine solche vertikale Darstellung sehr klein. Zur Vergrößerung der Darstellung könnte das Fahrzeug gegebenenfalls in der Höhe zusammengestaucht werden, jedoch wirkt eine solche Darstellung unnatürlich.
Ein weiterer Nachteil des Standes der Technik besteht darin, dass ein Fahrer zwischen unterschiedlichen Darstellungsarten, insbesondere zwischen der Darstellung des Fahrzeugs in Draufsicht gemäß 3 und der perspektivischen Darstellung basierend auf den Side-View-Kameras gemäß 4, hin- und herschalten muss. Die Umschaltung zwischen mehreren Darstellungsarten haben zur Folge, dass sich der Fahrer häufig in neue Perspektiven bzw. physikalische Verbaupositionen der Kameras hineindenken muss, was ihn häufig irritiert. Der Fahrer ist sich somit unter Umständen nicht immer bewusst, aus welcher Perspektive ein bestimmtes dargestelltes Bild auf der Anzeigeeinheit stammt und welche Raumwinkel gegebenenfalls mit den Kameras nicht abgedeckt sind. Es besteht deshalb das Bedürfnis, in der Anzeigeeinheit des Kraftfahrzeugs eine Darstellungsart zu erzeugen, bei der die Anzahl der Darstellungen zugunsten ihrer Universalität und Übersichtlichkeit eingeschränkt wird.
Im Folgenden wird das erfindungsgemäße Funktionsprinzip anhand mehrerer Ausführungsformen detailliert erläutert. Das Funktionsprinzip ist dabei auf beliebige Systeme anwendbar, welche die Fahrzeugumgebung für den Fahrer aufnehmen. Das heißt, die Erfindung ist nicht beschränkt auf die im Vorangegangenen beschriebenen Kamerabilder, sondern kann auf Bilder von beliebigen bildgebenden Vorrichtungen angewandt werden, wobei der Begriff „bildgebende Vorrichtung” bereits weiter oben ausführlich definiert wurde. Insbesondere umfassen die Bilder von bildgebenden Vorrichtungen sowohl Kamerabilder (auch durch Infrarotkameras erfasste Bilder) als auch synthetische Bilder (gegebenenfalls auch mit einer symbolhaft dargestellten Umgebung), die beispielsweise durch ein Scannen der Umgebung durch entsprechende Sensorvorrichtungen, wie Radar- und/oder Lidarvorrichtungen und dergleichen, erzeugt werden. Das synthetische Bild oder ein Teil des Bildes kann auch aus Daten von Ultraschallsensoren erzeugt werden. In einer vorteilhaften Ausgestaltung wird das nachfolgend beschriebene erfindungsgemäße Verfahren auf bestehende Kameras und/oder Umfeldsensierungseinrichtungen angewendet. Die Erzeugung der Bilder z. B. aus Sensordaten des Aufnahmemittels kann bevorzugt in der Hardware des Aufnahmemittels, aber auch ganz oder teilweise in der Bildverarbeitungseinheit realisiert werden.
Gemäß den nachfolgend beschriebenen Ausführungsformen der Erfindung wird die Aufgabe gelöst, eine stimmige Darstellung mehrerer Perspektiven für den Nutzer einer mobilen Einheit zu erzeugen, wobei die Darstellung selbsterklärend bezüglich der dargestellten Perspektiven ist, insbesondere hinsichtlich der Zuordnung von in den Bildbereichen dargestellten Objekten zu den realen Teilen der Fahrzeugumgebung bzw. relativ zu mindestens einem Insassen. Ferner entfällt die Notwendigkeit unzumutbar viele Umschaltoptionen und die entsprechende aufwendige MMI zu realisieren.
Die nachfolgend beschriebenen Ausführungsformen zeichnen sich dadurch aus, dass eine Darstellung der perspektivisch transformierten Bilder, die jeweils einen Teil der Umgebung des Fahrzeuges zeigen, auf einer als perspektivisch relativ zur Bildschirmfläche angeordneten virtuellen Fahrbahnebene abgebildet werden, wobei die virtuelle Fahrbahnebene als von schräg oben gesehen und zum Vorderteil des Fahrzeuges gerichtet abgebildet ist. Die virtuelle Fahrbahnebene wird als eine Maske ausgestaltet, die die Form bzw. die Begrenzungen der jeweiligen Bildteile bildet.
5 zeigt eine Anzeigeinheit 5 einer mobilen Einheit mit einer solchen erfindungsgemäßen Darstellung, wobei in 5 zwei transformierte Bilder 203 und 203' von durch Top-View-Kameras erfassten Fahrbahnabschnitten wiedergegeben sind. Es wird hierdurch aus den ursprünglich zweidimensional aufgenommenen Bildern der Fahrbahnabschnitte eine intuitiv verständliche „quasi dreidimensionale Darstellung” der Fahrbahnabschnitte erreicht, die auf dem konventionellen Display einer mobilen Einheit dargestellt werden kann.
Die in 5 gezeigte Darstellungsart wird mit einem in dieselbe Perspektive überführten Bild einer Rückfahrkamera ergänzt. Eine solche Darstellungsart ist in 6 gezeigt. Neben den transformierten Bildbereichen 203 und 203', welche die Seitenbereiche des Fahrzeugs abbilden, ist ferner ein rückwärtiger Bereich 202 dargestellt. Vorzugsweise werden somit mehrere Bilder einzelner bildgebender Vorrichtungen dazu verwendet, um die Ebene der Fahrbahn zu rekonstruieren. Die Erfindung bietet den praktischen Vorteil, dass die Bilder ohne Verkleinerung bzw. Stauchung auf einer Anzeigeeinheit, wie sie in 5 und 6 gezeigt ist, angeordnet werden können. Bei der entsprechenden geometrischen Transformation in eine perspektivische virtuelle Fahrbahnebene passen die einzelnen Bilder gut in die Anzeigefläche und werden aufgrund der dargestellten Perspektive auf dem zweidimensionalen Bildschirm natürlich empfunden. Die erzeugte virtuelle Fahrbahnebene kann gegebenenfalls auch gekrümmt sein bzw. als gekrümmt dargestellt werden.
Eine Ausführungsform des erfindungsgemäßen Verfahrens kann auf das Bild eines Aufnahmemittels, welches den Fahrbahnbereich unter dem Fahrzeug erfasst, angewandt werden. Ein solches Aufnahmemittel kann z. B. als ein Sensor zur Erfassung des Bodenreliefs ausgestaltet sein, z. B. eine auf der sog. Time-Of-Light-Technologie basierte Kamera. Das Bild dieses Aufnahmemittels, welches als ein synthetisches Bild aufbereitet werden kann, wird dabei auf die oben beschriebene virtuelle Fahrbahnebene abgebildet.
In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfolgt die Darstellung derart, dass das in der virtuellen Fahrbahnebene wiedergegebene Umgebungsmodell mit einem grafischen Fahrzeugmodell derart ergänzt wird, dass das Fahrzeugmodell aus derselben Perspektive dargestellt wird wie die Abbildung der Fahrbahnebene. Dies hilft dem Benutzer der mobilen Einheit die in der virtuellen Fahrbahnebene dargestellte Perspektive eindeutig zu verstehen. Zugleich hilft das grafische Fahrzeugmodell dem Benutzer eine relative Perspektive und relative Position der Hindernisse relativ zu den Teilen des Fahrzeugs zu erfassen. Diese gibt dem Benutzer eine räumliche Vorstellung über die Fahrbahn, Objekte in der Umgebung des Fahrzeuges etc. in Relation zu dem Fahrzeug bzw. zu ihm selbst. Der Benutzer kann somit auf einfache Weise die Position eines bestimmten Objekts, beispielsweise eines Hindernisses, einer Parkplatzbegrenzung und anderer Fahrbahnlinien, relativ zu dem Fahrzeug und seinen Teilen, wie Felgen, Türen und dergleichen, abschätzen. 7 zeigt eine Ausführungsform einer Darstellung mit einem solchen Fahrzeugmodell. Das Fahrzeugmodell ist dabei mit dem Bezugszeichen 6 bezeichnet und gibt eine perspektivische Ansicht des Fahrzeugs von hinten wieder. Der Benutzer erkennt aus der Abbildung gemäß 7 sehr schnell, in welcher Relation das Fahrzeug in Bezug auf die dargestellten Bilder 202, 203 und 203' der Umgebung liegt. Gemäß der Darstellung der 7 bekommt der Benutzer eine Information über die Orientierung und die Größe der in den einzelnen Bildern 202, 203 und 203' wiedergegebenen Objekte. Der vom Benutzer gesehene Rahmen der Anzeigeeinheit 7 dient dabei zusätzlich als eine Referenz zur Wahrnehmung der erzeugten Tiefenwirkung.
Das Fahrzeugmodell ist als eine räumlich wirkende Grafik ausgestaltet. Durch die räumlich anmutende Darstellung des Fahrzeugs bzw. des Fahrzeugmodells 6 wird die räumliche Wahrnehmung zusätzlich verstärkt. Das in der Ausführungsform der 7 dargestellte Fahrzeugmodell 6 ist vorzugsweise in der Bildverarbeitungseinheit als Bitmap (oder mehrere Bitmaps aus verschiedenen Perspektiven) gespeichert. Somit muss dieses Bitmap nicht für jede darzustellende Perspektive neu berechnet werden. Alternativ kann das Fahrzeugmodell auch durch eine Vektorgrafik und/oder eine Simulation erzeugt bzw. dargestellt werden, die sich bevorzugt in Anhängigkeit von der aktuell darzustellenden Perspektive verändert.
In einer weiteren, besonders vorteilhaften Ausführungsform wird die virtuelle Fahrbahnebene mit weiteren virtuellen Ebenen ergänzt. Insbesondere werden solche Ebenen hin zugefügt, welche im Wesentlichen senkrecht zur virtuellen Fahrbahnebene stehen. Somit wird ein virtueller Raum gebildet, der die Umgebung des Fahrzeugs, bevorzugt in Kombination mit dem Fahrzeugmodell, darstellt. Die weiteren Ebenen sind dabei vorzugsweise solche Ebenen, welche einen perspektivisch erfassten Bildbereich in der Fahrzeugumgebung darstellen. Beispielsweise kommen die mit den Side-View-Kameras 4 aus 1 erfassten Bildbereiche in Betracht. Diese Bildbereiche werden in seitlichen Ebenen in einer solchen perspektivischen bzw. räumlichen Relation zu den virtuellen Fahrbahnebenen bzw. dem räumlichen Fahrzeugmodell angeordnet, dass sie im Wesentlichen den Richtungen entsprechen, aus welchen die Bilder der seitlichen Ebenen durch die bildgebenden Vorrichtungen relativ zu dem Fahrzeug aufgenommen wurden. Diese Ausführungsform hat den Vorteil, dass der Benutzer versteht, in welchem Winkel zu ihm und dem Fahrzeug die im Bild dargestellten Objekte zu finden bzw. zu meiden sind. Der räumliche Effekt wird dadurch verstärkt. 8 zeigt eine entsprechende Darstellung, bei der neben den Bereichen 202, 203 und 203' der virtuellen Fahrbahnebene sowie dem Fahrzeugmodell 6 auch noch zwei seitliche Ebenen links und rechts von dem Fahrzeug angeordnet sind. Diese Ebenen stehen senkrecht auf der virtuellen Fahrbahnebene und die darin dargestellten Bilder 204 und 204' sind entsprechend transformierte Bilder, welche von Side-View-Kameras, wie sie in 1 gezeigt sind, aufgenommen wurden.
In der Darstellung, die in der 8 veranschaulicht wird, stehen die Normalen der seitlichen Ebenen 204 und 204' jeweils unter solchen Winkeln zum Fahrzeugmodell, dass sie in etwa den realen räumlichen Winkeln zwischen der jeweiligen Ausrichtung der bildgebenden Vorrichtungen und dem wirklichen Fahrzeug entsprechen. Auf diese Weise wird durch die Darstellung dem Benutzer die jeweilige Ausrichtung und die Erfassungsrichtung der Kameras in Relation zu dem Fahrzeug erklärt.
Im Folgenden wird anhand von 9 eine bevorzugte Ausgestaltung einer Bildtransformation zur Realisierung des erfindungsgemäßen Verfahrens erläutert. 9 zeigt die Transformation eines ursprünglich kissenförmigen Bilds 103 einer Top-View-Kamera in das transformierte Bild 203. Man erkennt die kissenförmige Struktur des Bildbereichs 103, wobei die Ecken des Kissens mit A, B, C und D bezeichnet sind. Die kissenförmige Form entsteht durch die Verwendung einer weitwinkligen Kamera, die ein optisch verzerrtes Bild des erfassten rechteckigen Fahrbahnbereichs liefert. In einem ersten Schritt S1, der aus dem Stand der Technik bekannt ist, kann durch eine entsprechende Transformation das ursprüngliche Bild 103 entzerrt werden, wodurch wieder die ursprüngliche rechteckige Form des Bildbereichs entsteht. Diese Bildform ist mit Bezugszeichen 303 bezeichnet und umfasst rechtwinklige Ecken A', B', C' und D'. Erfindungsgemäß kann nunmehr durch eine weitere geometrische Transformation der Bildbereich 303 in einen entsprechend verformten Bildbereich 203 gemäß einem Schritt S2 umgewandelt werden, wobei durch die Form des Bildbereichs 203, der mittels einer Maske ausgestaltet ist, eine Perspektive generiert wird. Der Bildbereich 203 ähnelt einem Trapez und umfasst entsprechende Ecken A'', B'', C'' und D''. Man erkennt, dass in dem transformierten Bild 203 die Höhe des Bildes deutlich verkleinert ist. Daher passt das Bild auch auf die in 5 und 6 gezeigte querformatige Anzeigefläche der Anzeigeeinheit 7 und es ergibt sich ein räumlicher Eindruck. Da die Transformation gemäß Schritt S1 und gemäß Schritt S2 eindeutig sind, kann die Bildentzerrung gemäß Schritt S2 erfindungsgemäß übersprungen werden, d. h. das Bild 203 kann auch direkt aus dem Bild 103 mit Hilfe einer Transformation erzeugt werden. Diese bevorzugte Variante hat den Vorteil, dass es bei der Umsetzung der Erfindung nicht zu einer deutlichen Erhöhung der erforderlichen Rechenleistung der Bildverarbeitungseinheit kommt.
Der Vorteil der erfindungsgemäßen Darstellungsart unter Zuhilfenahme der anhand von 9 erläuterten Transformation besteht darin, dass diese Darstellung – obwohl sie quasi-räumlich und hochprofessionell aussieht – auf einfache Weise wie die bisher bekannten Abbildungen zur Entzerrung der ursprünglichen Kamerabilder mit einer eineindeutigen Transformationsfunktion generiert werden kann, bei der Pixel und Subpixel der Eingangsbilder dem zu generierenden Ausgangsbild zugeordnet werden. Es ist weder ein 3D-Grafikprozessor noch eine weitere Steigerung der Rechenleistung der Bildverarbeitungseinheit erforderlich, welche zur Generierung der Bilder auf der Anzeigeeinheit verwendet wird. Vorzugsweise ist es möglich, dass eine Verstärkung der Tiefenwirkung gegebenenfalls auch durch den Fahrer bzw. Nutzer der mobilen Einheit und/oder in Abhängigkeit von den vorausbestimmten Ereignissen eingestellt bzw. verändert werden kann.
In einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird die generierte Darstellung in Abhängigkeit von vorbestimmten Ereignissen, wie z. B. Bedienaktionen des Fahrers und/oder des Benutzers der mobilen Einheit, gedreht, wodurch dem Benutzer der mobilen Einheit eine virtuelle Ansicht auf die Umgebung aus einem anderen, insbesondere seitlich verschobenen Winkel, ermöglicht wird. Hierdurch kann beispiels weise ein virtueller Flug von schräg oben simuliert werden, der basierend auf der erfindungsgemäßen Darstellungsart durch eine Veränderung der Form der virtuellen Fahrbahnebene und der Transformationsparameter und/oder durch Umschalten der Kameras einfach zu realisieren ist. Dabei wird eine virtuelle Drehung des gesamten, mit den Bilderflächen aufgespannten Raums erzeugt, wodurch sich der virtuelle Blickwinkel auf die ganze Szene in Abhängigkeit von fahrzeugspezifischen Kriterien und/oder nach Fahrerwunsch verändert. Dabei wird insbesondere eine solche Transformation der Bilder verwendet, bei der sich der virtuelle Blickwinkel verändert, ohne dass sich die Perspektive in Relation zwischen den einzelnen, für die Fahrzeugumgebung repräsentativen Ebenen verändert. Vorteilhaft ist dabei insbesondere die Drehung der virtuellen Umgebung um eine vertikale Achse des Fahrzeugmodells. Somit kann der Benutzer der mobilen Einheit einen bestimmten Teil der Umgebung im Detail betrachten und sich virtuell um das Fahrzeug herum bewegen. 10 zeigt dabei eine Darstellung analog zu 8, wobei in 10 zusätzlich eine geeignete vertikale Achse A mit entsprechender Drehrichtung R angedeutet ist, um welche sich die virtuell dargestellte Umgebung in einer bevorzugten Ausführungsform drehen kann.
Im Besonderen kann durch das obige Prinzip der Ausrichtungsänderung des virtuellen Raums erreicht werden, dass bei Bedarf eine seitliche Ansicht auf das Fahrzeug gezeigt wird, beispielsweise die mit einer Top-View-Kamera aufgenommene Ansicht links vom Fahrzeug zusammen mit dem über eine Side-View-Kamera aufgenommenen rechten Bereich vor dem Fahrzeug und gegebenenfalls dem mit einer weiteren Side-View-Kamera aufgenommenen rechten Bereich hinter dem Fahrzeug. Ebenso können Ansichten auf das Fahrzeug von vorne zusammen die Ansichten von zwei hinteren Side-View-Kameras generiert werden.
Besonders vorteilhaft ist der Einsatz des erfindungsgemäßen Verfahrens zur Unterstützung des Fahrers, der als Benutzer der mobilen Einheit das Fahrzeug steuert, bei Park- und Rangiervorgängen. Das Verfahren bietet dem Fahrer eine übersichtliche Darstellung auch bei teil- oder vollautomatisch ausgeführten Fahrmanövern. Das Verfahren bzw. das darauf basierendes System kann automatisch, in Abhängigkeit von den vorausbestimmten Kriterien, z. B. das Einlegen des Rückwärtsganges, das Absenken der Geschwindigkeit auf ein bestimmtes Niveau, die Aktivierung eines weiteren Assistenzsystems des Fahrzeuges, aktiviert werden.
Die Bedienung der Ausrichtung des virtuellen Raums kann mittels Bedienelementen auf der mobilen Einheit durchgeführt werden. Das räumlich anmutende Fahrzeugmodell bietet dem Benutzer der mobilen Einheit die Orientierung bezüglich des dargestellten Sichtwinkels auf die Fahrzeugumgebung.
In einer weiteren vorteilhaften Ausführungsform der Erfindung kann die Veränderung der Ausrichtung des virtuellen Raums auch in Abhängigkeit von automatisch erfassten und interpretierten Verkehrssituationen erfolgen. Die Interpretation der Verkehrssituation kann dabei beispielsweise durch ein Navigationssystem durchgeführt werden. Insbesondere kann die Interpretation der Verkehrssituation abhängig sein vom Vorhandensein einer Seitenstraße, einer Ausfahrt und/oder davon, ob es sich um ein Rangiermanöver in einem Stadtparkhaus oder am Land an einem Acker handelt. Besonders bevorzugt ist eine Veränderung der Ausrichtung des virtuellen Raums derart vorgesehen, dass dieser auf das Vorhandensein von Hindernissen und/oder einer von diesen ausgehenden Kollisionsgefahr angepasst wird. Beispielsweise kann die Veränderung der Ausrichtung des virtuellen Raums in Abhängigkeit von einer Umfeldsensierung des Fahrzeugs, beispielsweise basierend auf Ultraschallsensoren, erfolgen. Dabei wird der Raum um das Fahrzeug bei einer Kollisionsgefahr insbesondere derart ausgerichtet, dass der Benutzer der mobilen Einheit die kritischen Stellen gut erkennen kann.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann die Veränderung der Ausrichtung des virtuellen Raums in der Umgebung des Fahrzeugs in Abhängigkeit von einer Fahrzeug-zu-Fahrzeug- und/oder Fahrzeug-zu-Infrastruktur-Kommunikation ausgestaltet sein. So kann die Anwesenheit eines anderen Verkehrsteilnehmers und seiner Lage relativ zum Fahrzeug drahtlos, beispielsweise anhand des Signals eines RFID-Chips, übermittelt werden und so der virtuelle Raum dementsprechend gedreht werden, damit bestimmte Perspektiven oder darin enthaltene Objekte oder ihre Position besser wahrgenommen werden können. Die bessere Wahrnehmbarkeit kann durch eine solche Veränderung der Perspektive erreicht werden, die das Objekt z. B. in Relation zu der aktuellen Fahrtrichtung oder bestimmten Fahrzeugteilen zeigt. Ebenso besteht die Möglichkeit, dass der Fahrer beispielsweise an einer bestimmten Stelle, z. B. in seiner Garage, einen RFID-Chip anbringt. Das Ablesen des RFID-Chips durch eine Vorrichtung des Fahrzeuges signalisiert dem Fahrzeug , dass der virtuelle Raum in eine bestimmte, optimierte Richtung ausgerichtet werden soll, z. B. optimiert zur Einfahrt in seine Garage, seinen Garten und dergleichen. So kann der Fahrer eines Fahrzeugs entsprechende RFID-Chips erwerben und z. B. auf seinem Grundstück platzieren, damit sein Fahrzeug ihm als Benutzer der mobilen Einheit bei der Durchfahrt an jedem Teil seiner Parkfläche bzw. Garage die gewünschte, z. B. vorangestellte Perspektive auf der mobilen Einheit zeigt.
Außerdem kann ein RFID-Chip in Kinderkleidung, einem Kinderwagen oder einem Kinderfahrrad untergebracht werden. Somit wird erfindungsgemäß erreicht, dass, insbesondere wenn sich ein Kind in der Nähe des Fahrzeuges befindet, die Darstellung der Umgebung des Fahrzeuges zu Gunsten der Sichtbarkeit des Kindes verändert wird.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann ein aus der Fotographie bekanntes Mittel zur Betonung von Tiefenwirkung eingesetzt werden. In der Fotographie kann die Tiefenwirkung unter anderem durch eine gezielte Wahl der Objektiv-Blende erfolgen, nämlich derart, dass die Objekte vor und nach einer bestimmten Entfernung vom Objektiv unscharf dargestellt werden. Derselbe Effekt kann im erfindungsgemäßen Verfahren künstlich aus der gewünschten Tiefenwirkung und der jeweiligen virtuellen Entfernung bestimmter Flächen oder Flächenteile erzeugt werden. Dabei wird die dargestellte Bildschärfe bestimmter Bereiche der Bildfläche und/oder des Fahrzeugmodells in Abhängigkeit von der dargestellten Perspektive und/oder in Abhängigkeit von virtuellen Entfernungen der Bereiche vom Betrachter eingestellt. Der Tiefeneffekt kann gegebenenfalls noch durch eine zusätzliche Filterung, insbesondere mit digitalen Schärfefiltern, verstärkt werden. Ferner wird die Bildschärfe bei der Drehung des virtuellen Raums entsprechend verlagert und ihre jeweilige Tiefe in dem virtuellen Raum je nach der Position des virtuellen Raums betont.
Wie bereits oben erwähnt, können die im erfindungsgemäßen Verfahren erzeugten Bilder durch beliebige bildgebende Vorrichtungen generiert sein. Es muss sich nicht immer um Kamerabilder handeln, sondern es können insbesondere auch Bilder verwendet werden, welche aus Sensordaten künstlich erzeugt oder modelliert werden, beispielsweise aus den Daten einer Umfeldsensierung von einem Park- und Rangierassistenzsystem.
Das Verfahren kann in Kombination mit einem Verfahren zum automatischen oder teilautomatischen Parken und Rangieren ausgeführt werden. Dies bietet einem Benutzer der mobilen Einheit, insbesondere dem Fahrer, eine bessere Übersichtlichkeit über die relevanten Teile der Fahrzeugumgebung, z. B. während ein automatisches oder teilautomatisches Manöver, insbesondere ein Parkvorgang, ausgeführt wird.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung kann das angezeigte Bild mittels einer Synthese aus dem Bild einer Kamera und einer Vorrichtung zur Umfeldsensierung zusammengesetzt werden. Als Vorrichtung zur Umfeldsensierung wird insbesondere eine Vorrichtung verwendet, welche die Topographie der Umgebung (Höhe bzw. Entfernung jedes Punktes bzw. Flächenabschnitts) erfasst. Die Synthese des Kamerabilds und des Bilds der Vorrichtung zur Umfeldsensierung ermöglicht es insbesondere, das Fahrbahnprofil und/oder die Höhe der Objekte auf der Fahrbahn korrekt zu erfassen und diese durch eine Verkrümmung entsprechender Bildbereiche darzustellen. Hierdurch wird in der Anzeigeeinheit die virtuelle Fahrbahnebene als virtuelle Bildfläche entsprechend der räumlichen Form der Fahrbahn und der sich auf dieser befindlichen Objekte verformt. Beispielsweise kann ein Höhenunterschied in der Fahrbahn, wie dieser im Falle einer Bordsteinkante zu beobachten ist, in den entsprechenden Flächen des dargestellten virtuellen Bildes abgebildet sein. Dabei wird die Bordsteinkante mit der Vorrichtung zur Umfeldsensierung erfasst und die virtuelle Fahrbahnfläche an der entsprechenden Stelle verformt. Alternativ kann die Bordsteinkante mittels einer symbolhaften Grafik, insbesondere einer teiltransparenten Grafik, oberhalb der virtuellen Fahrbahnebene dargerstellt werden.
In einer weiteren vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens wird bei der Erkennung von Hindernissen, die beim Öffnen einer Tür einen Schaden verursachen können, ein graphischer Hinweis in der erfindungsgemäßen Darstellung mit eingeblendet. Liegt vor der Fahrzeugtür beispielsweise ein großer Stein auf der Fahrbahn, kann in der erfindungsgemäßen räumlichen Darstellung ein expliziter Hinweis darauf erscheinen, dass eine bestimmte Tür derzeit nicht oder nur bis zu einem bestimmten Öffnungsgrad geöffnet werden sollte. Auf diese Weise wird der Fahrer vor dem Aufmachen von Türen oder Klappen des Fahrzeugs bei einer Schadensgefahr geeignet gewarnt. Somit ist einfach und intuitiv durch die perspektivische Darstellung der virtuellen Fahrbahnebene ersichtlich, welche Gegenstände genau z. B. beim Aufmachen der Tür stören können und wie weit bzw. welche Tür geöffnet werden darf. Es wird somit eine gut verständliche Anzeige der kritischen Stellen mit Schadensgefahr und der zur Verfügung stehenden Möglichkeiten zur Vermeidung dieses Schadens geschaffen.
Die Anzeige von Bereichen mit Schadensgefahr kann beispielsweise als eine in der erfindungsgemäßen Darstellung markierte Tür des virtuellen Fahrzeugs oder als eine nur bis zu einem maximal zulässigen Grad geöffnete Tür ausgestaltet sein. Alternativ kann die die Darstellung der Begrenzung zur Öffnung der Tür z. B. durch einen virtuellen Pfosten wiedergeben werden. In einer weiteren Ausführungsform kann auch eine Schadensgefahr bei der Öffnung der Heckklappe nach oben angezeigt werden, um zu vermeiden, dass die Heckklappe an die Rückwand oder die Garagendecke stößt.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens können die Abstände zu den gefährlichen Hindernissen auch explizit als eine Abgrenzung von befahrbaren und nicht befahrbaren Bereichen der Fahrbahn im Bild gekennzeichnet werden. Insbesondere können die Bordsteinkanten automatisch erkannt und als solche zusätzlich gekennzeichnet werden. Hierdurch kann der Abstand zu den Felgen beim Einparken überwacht werden.
In einer vorteilhaften Ausgestaltung können in der Darstellung die vorhergesagten und/oder empfohlenen Trajektorien des Fahrzeugs oder die vorhergesagten Trajektorien anderer Verkehrsteilnehmer berechnet und dargestellt werden. Beispielsweise kann ein Anhängermanöver durch eine Rückfahrkamera erfasst werden und die Trajektorie der Bewegung der Anhängerkupplung in Bezug auf den Anhänger in dreidimensionaler Form wiedergegeben werden. Die Simulation eines Anhängermanövers als ein flaches zweidimensionales Modell ist bereits aus der Patentanmeldung DE 10 2004 008 928.0 bekannt, wobei in dieser Anmeldung die Luftfederung des Fahrzeugs zum automatischen Ankuppeln des Anhängers manipuliert werden kann. Das in dieser Patentanmeldung beschriebene Verfahren, bei dem die Bewegung der Anhängerkupplung zum Anhänger bevorzugt in Draufsicht gezeigt ist, kann mit der erfindungsgemäßen Darstellung derart kombiniert werden, dass die Trajektorien der Bewegung der Anhängerkupplung zum Anhänger quasi räumlich in einer entsprechenden perspektivischen Relation zu wenigstens einer virtuellen Fahrbahnebene gezeigt werden.
Die im Vorangegangenen beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Durch die quasi-räumliche Darstellung der Fahrzeugumgebung kann eine weitgehend Bildschirm füllende Anzeige dieser Umge bung in breitformatigen Anzeigeeinheiten von mobilen Einheiten erreicht werden. Der Benutzer der mobilen Einheit versteht dabei sofort, aus welchen Richtungen die jeweiligen, durch bildgebende Vorrichtungen erfassten Objekte stammen. Er kann Hindernisse zu den Teilen des Fahrzeugs sowie deren Richtung und Größe gut abschätzen. Ferner bewegen sich bei der Fahrzeugbewegung die Gegenstände auf der Anzeigeeinheit relativ zueinander in dieselbe Richtung wie beim direkten Blick durch die Fenster bzw. die Frontscheibe des Fahrzeugs. Das Verfahren erfordert keine bzw. nur wenige selbsterklärende Umschaltoptionen.
Das erfindungsgemäße Verfahren kann dazu benutzt werden, die Umgebung des Fahrzeuges für die Passagiere eines Fahrzeuges, insbesondere einer Limousine, eines Busses oder eines Flugzeuges, auf deren mobilen Einheiten darzustellen. Dabei kann die erfindungsgemäße Darstellung, insbesondere dann automatisch aktiviert werden, wenn das Fahrzeug z. B. die Parkposition erreicht hat und die Passagiere aussteigen dürfen. Die Darstellung kann mit zusätzlichen eingeblendeten Symbolen versehen werden, die z. B. eine Ausstiegsrichtung oder eine Zielrichtung für die Passagiere beim Verlassen des Fahrzeuges anzeigt.
Auf die virtuelle Fahrbahnebene bzw. eine zusätzliche virtuelle Ebene kann gegebenenfalls auch eine modellierte Umgebung, beispielsweise in der Form einer Fahrbahn mit Höhenprofil, abgebildet werden. Dies wird insbesondere durch eine Synthese von Kamerabildern mit Sensordaten ermöglicht. Ebenso besteht die Möglichkeit, entsprechende Trajektorien, welche beispielsweise zu möglichen Kollisionen führen würden, als solche zu kennzeichnen und in die erfindungsgemäße Darstellung zu integrieren.
11 zeigt eine Ausführungsform einer im erfindungsgemäßen Verfahren verwendeten mobilen Einheit 8, die als ein Mobiltelefon ausgestaltet ist. Das Mobiltelefon 8 umfasst eine Anzeigeeinheit 9, eine unterhalb der Anzeigeeinheit angeordnete Tastatur, ein Mikrofon sowie weitere Bedienelemente zur Kontrolle über die Durchführung eines teilautomatischen Manövers. Die weiteren Bedienelemente beinhalten eine Starttaste 11' und eine Stopptaste 11 zum Starten bzw. Stoppen des Manövers sowie ein spezielles Bedienelement 12, welches einen Ring umfasst, der zur Auswahl und/oder Veränderung der Perspektive der Darstellung durch den Benutzer dient.
Eine virtuelle Ebene 202 ist derart durch ihre Form und Lage auf der Anzeigeeinheit 9 des Mobiltelefons 8 perspektivisch angeordnet, dass sie in etwa der Perspektive entspricht, in der ein Fahrer eines Fahrzeuges typischerweise die Fahrbahn sieht. Die virtuelle Ebene stellt einen Fahrbahnabschnitt dar, der demnächst von dem Fahrzeug befahren wird. Somit hängt der dargestellte Bereich automatisch von dem eingelegten Gang (Vorwärtsfahrt, Rückwärtsfahrt) bzw. von der tatsächlichen Fahrtrichtung des Fahrzeuges bei der Durchführung eines Manövers ab. Das auf die Fahrbahnebene abgebildete Bild beinhaltet in die Fahrbahnebene eingeblendete Assistenzlinien 100 und 100', die dem Benutzer den vorausberechneten, für das Fahrzeug notwendigen Platz auf der Fahrbahn und ggf. oberhalb der Fahrbahn anzeigen.
In der Anzeigeeinheit 9 wird darüber hinaus noch der Status der Steuerung des Fahrzeuges mit Hilfe von Richtungspfeilen 13 bzw. 13' und einem Anzeigeelement 14 angezeigt. Der Richtungspfeil 13' ist markiert und zeigt den aktuellen Status der Steuerung, d. h. eine Vorwärtsfahrt des Fahrzeuges mit einem Lenkeinschlag nach rechts, an. Das Anzeigeelement 14 gibt den eingelegten Gang (in 11 die Stellung D eines Automatikgetriebes) wieder.
In der Anzeigeeinheit 14 ist ferner eine Instrumentenanzeige 15 vorgesehen, welche einen oder mehrere Parameter des Fahrzeuges anzeigt. Die Darstellung, einschließlich Status der Steuerung des Fahrzeuges und Bedienanzeigen, kann in der Bildverarbeitungseinheit des Fahrzeuges generiert werden und anschließend mittels eines UMTS-Transceivers des Fahrzeuges zum Mobiltelefon gesendet werden. Die Inhalte des Bildes werden durch die Bildverarbeitungseinheit des Fahrzeuges in Abhängigkeit von der Übertragung der Bedienbefehle des Benutzers, die er mittels seines Mobiltelefons eingibt, verändert bzw. aktualisiert. Als Aufnahmemittel werden bei der Rückwärtsfahrt die Rückfahrkamera und bei der Vorwärtsfahrt die vorwärtsgerichtete Kamera des Fahrzeuges benutzt. Die Anzeigeeinheit des Mobiltelefons kann ebenfalls als ein 3D-fähiger Bildschirm ausgestaltet sein. Somit wird die virtuelle Ebene als solche als räumlich gesehen. Dies gibt dem Benutzer eine räumliche Orientierung auch dann, wenn das Aufnahmemittel lediglich ein zweidimensionales Bild liefert.
12 zeigt eine weitere Ausführungsform einer mobilen Einheit 8, die als ein Mobiltelefon ausgestaltet ist. Es werden in 12 die gleichen Bezugszeichen wie in 11 zur Bezeichnung der gleichen bzw. entsprechenden Komponenten verwendet. Zusätzlich zu der 11 stellt die Anzeigeeinheit 9 des Mobiltelefons mehrere der oben beschriebenen virtuellen Ebenen perspektivisch dar. Diese Darstellung ermöglicht dem Benutzer die Beobachtung aller wichtigen Bereiche der Umgebung des Fahrzeuges mit einem Blick. Mittels einer Touch-Screen-Aktion kann der Benutzer die einzelnen virtuellen Ebenen heran zoomen oder die Perspektive des gesamten, in der Darstellung enthaltenen virtuellen Raumes verändern und/oder die Trajektorie des Fahrzeuges vor und während der Durchführung des Manövers beeinflussen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- EP 1308829 A2 [0003]
- DE 102004008928 [0119]

Claims

Verfahren zur Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit, die mindestens ein Bildsignal vom Fahrzeug drahtlos empfängt, dadurch gekennzeichnet, dass durch das mindestens eine Bildsignal eine Darstellung auf der mobilen Einheit generiert wird, welche wenigstens eine perspektivisch angeordnete virtuelle Ebene enthält, auf welche wenigstens ein mit einem Aufnahmemittel des Fahrzeuges aufgenommenes Bild umfassend zumindest einen Teil der Umgebung des Fahrzeugs abgebildet ist.
Verfahren nach dem Anspruch 1, dadurch gekennzeichnet, dass das mindestens eine Bildsignal wenigstens zwei Bilder enthält, welche durch das Aufnahmemittel des Fahrzeugs erzeugt werden und welche unterschiedliche Fahrbahnabschnitte der Fahrbahnebene in der Umgebung des Fahrzeugs enthalten, wobei durch das Bildsignal eine Darstellung generiert wird, in welcher die wenigstens zwei Bilder auf eine virtuelle Ebene, die im Wesentlichen eine virtuelle Fahrbahnebene darstellt, abgebildet werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die virtuelle Fahrbahnebene durch ihre Begrenzungsform und/oder die Anordnung der wenigstens zwei Bilder zueinander perspektivisch wiedergegeben wird.
Verfahren nach dem Anspruch 2 oder 3, dadurch gekennzeichnet, dass die wenigstens zwei Bilder auf die virtuelle Fahrbahnebene mittels einer geometrischen Transformation abgebildet werden, welche derart angewandt wird, dass die Transformation der wenigstens zwei Bilder im Wesentlichen der Perspektive entspricht, in der die virtuelle Fahrbahnebene dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mobile Einheit ein Mobiltelefon umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die durch das Bildsignal generierte Darstellung weitere, vom Fahrzeug an die mobile Einheit ü bermittelte und im Zusammenhang mit dem Fahrzeug stehende Bilder enthält, welche von einer Infrastrukturvorrichtung stammen.
Verfahren nach Anspruch 2 oder einem der Ansprüche 3 bis 6, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die generierte Darstellung ein Fahrzeugmodell enthält, wobei die Perspektive, in der das Fahrzeugmodell dargestellt wird, im Wesentlichen der Perspektive der virtuellen Fahrbahnebene entspricht, wobei beide Perspektiven vorzugsweise demselben virtuellen Beobachtungspunkt entsprechen, und die Lage des Fahrzeugmodells zur virtuellen Fahrbahnebene im Wesentlichen der tatsächlichen Lage des Fahrzeuges relativ zur Fahrbahn entspricht.
Verfahren nach Anspruch 2 oder nach einem der Ansprüche 3 bis 7, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die generierte Darstellung wenigstens eine weitere, von der virtuellen Fahrbahnebene abweichende virtuelle Ebene enthält, wobei auf die wenigstens eine weitere virtuelle Ebene ein Teil der Fahrzeugumgebung abgebildet wird, wobei die wenigstens eine weitere virtuelle Ebene vorzugsweise im Wesentlichen als senkrecht zu der virtuellen Fahrbahnebene stehend dargestellt ist und/oder wobei die Abbildung eines Teils der Fahrzeugumgebung auf die wenigstens eine weitere virtuelle Ebene vorzugsweise mittels einer geometrischen Transformation erfolgt, welche derart angewandt wird, dass die Transformation des Teils der Fahrzeugumgebung im Wesentlichen der Perspektive entspricht, in der die wenigstens eine weitere virtuelle Ebene dargestellt ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die wenigstens eine weitere virtuelle Ebene und die virtuelle Fahrbahnebene in einem solchen perspektivischen Zusammenhang zueinander und/oder zum Fahrzeugmodell dargestellt werden, dass der perspektivische Zusammenhang im Wesentlichen dem perspektivischen Zusammenhang in der realen Fahrzeugumgebung, insbesondere bezogen auf einen vorgegebenen Beobachtungspunkt, entspricht.
Verfahren nach Anspruch 2 oder einem der Ansprüche 3 bis 9, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die Perspektive, in welcher die virtuelle Fahrbahnebene und/oder die wenigstens eine weitere virtuelle Ebene wiedergegeben werden, abhängig von aktuellen odometrischen Daten des Fahrzeuges und/oder von einer automatisch erkannten Fahrabsicht des Fahrers des Fahrzeuges verändert wird.
Verfahren nach Anspruch 2 oder einem der Ansprüche 3 bis 10, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die generierte Darstellung derart ausgestaltet ist, dass die tatsächliche Lage des Fahrzeugs in Bezug auf die Fahrbahnabschnitte, welche durch die wenigstens zwei, auf die virtuelle Fahrbahnebene abgebildeten Bilder wiedergegeben werden, angezeigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die generierte Darstellung, insbesondere die Perspektive der virtuellen Fahrbahnebene und/oder der wenigstens einen weiteren virtuellen Ebene, in Abhängigkeit von vorbestimmten Ereignissen verändert wird.
Verfahren nach Anspruch 12, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die generierte Darstellung derart verändert wird, dass der durch die Darstellung generierte virtuelle Blickwinkel auf die virtuelle Fahrbahnebene und/oder auf die wenigstens eine weitere virtuelle Ebene verändert wird, ohne den perspektivischen Zusammenhang der in der Darstellung enthaltenen Ebenen und/oder der auf diese abgebildeten Bilder zu verändern.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die virtuelle Fahrbahnebene gedreht und/oder gekippt wird, insbesondere um eine zur virtuellen Fahrbahnebene vertikalen Achse, wobei der perspektivische Zusammenhang in der generierten Darstellung, insbesondere zwischen der virtuellen Fahrbahnebene und der wenigstens einen weiteren virtuellen Ebene und dem Fahrzeugmodell, im Wesentlichen erhalten bleibt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die generierte Darstellung derart ausgestaltet ist, dass eine vom Beobachter empfundene Tiefenwirkung in der Darstellung generiert und/oder situationsabhängig verändert wird.
Verfahren nach Anspruch 2 oder einem der Ansprüche 3 bis 15, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass die virtuelle Fahrbahnebene in Abhängigkeit von der automatisch erfassten räumlichen Form der Fahrbahnabschnitte und/oder darauf befindlicher Objekte verformt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Darstellung einen oder mehrere Warnhinweise generieren kann, welche die Kennzeichnung einer möglichen Kollisionsstelle von einem oder mehreren Teilen des Fahrzeugs mit einem oder mehreren Objekten in der Umgebung des Fahrzeugs umfassen.
Verfahren nach Anspruch 2 oder einem der Ansprüche 3 bis 17, wenn abhängig von Anspruch 2, dadurch gekennzeichnet, dass in der generierten Darstellung eine oder mehrere, in der Perspektive der virtuellen Fahrbahnebene dargestellte Trajektorien enthalten sind, welche die zukünftige Bewegungsrichtung des Fahrzeugs und/oder von einem oder mehreren Objekten in der Umgebung des Fahrzeugs anzeigen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine drahtlose Steuerung der Fahrfunktionen des Fahrzeuges, insbesondere von Gas, Bremse, Lenkung, durch die mobile Einheit, bevorzugt ein Mobiltelefon, vorgesehen ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die generierte Darstellung die Instrumentenanzeigen des Fahrzeuges und/oder grafische Bedienelemente enthält.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mit der generierten Darstellung die Durchführung eines wenigstens teilweise automatischen Manövers kontrollierbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der mobilen Einheit eine automatisch ermittelte Ansicht einer vorausberechneten künftigen Fahrzeugposition generierbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bildsignal vom Fahrzeug erzeugt und an die mobile Einheit übertragen wird, wobei die Erzeugung und/oder die Übertragung des Bildsignals durch ein Aktivierungssignal der mobilen Einheit und/oder des Fahrzeugs aktiviert wird.
Informationssystem zur Darstellung der Umgebung eines Fahrzeuges auf einer mobilen Einheit, umfassend ein Aufnahmemittel, mit dem wenigstens ein Bild der Umgebung des Fahrzeuges erzeugbar ist, einen Sender am Fahrzeug zum Aussenden mindestens eines Bildsignals, wobei das mindestens eine Bildsignal vor und/oder nach dem Aussenden zur Generierung einer Darstellung auf der mobilen Einheit durch eine Bildverarbeitungseinheit verarbeitbar ist, eine mobile Einheit zum Empfang des mindestens einen Bildsignals, dadurch gekennzeichnet, dass durch das mindestens eine Bildsignal eine Darstellung auf der mobilen Einheit generierbar ist, welche wenigstens eine perspektivisch angeordnete virtuelle Ebene enthält, auf welche das wenigstens eine mit dem Aufnahmemittel des Fahrzeuges aufgenommene Bild umfassend zumindest einen Teil der Umgebung des Fahrzeugs abgebildet ist.
Informationssystem nach Anspruch 24, dadurch gekennzeichnet, dass das System derart ausgestaltet ist, dass ein Verfahren nach einem der Ansprüche 1 bis 23 durchführbar ist.
Fahrzeug, insbesondere Kraftfahrzeug, mit zugeordneter mobiler Einheit, umfassend ein Informationssystem nach Anspruch 24 oder 25.