-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, sowie auf ein entsprechendes Computerprogrammprodukt.
-
Die
DE 10 2009 005 505 A1 beschreibt ein Verfahren zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs bezüglich einer virtuellen Kameraposition aus den Bildern von mindestens einer am Kraftfahrzeug angeordneten Kamera. Die Kamerabilder werden auf die virtuelle Kameraposition umgerechnet und durch Hinzunahme von weiteren Informationen über das Umfeld des Kraftfahrzeugs korrigiert.
-
Die
US 2010 / 0 123 778 A1 offenbart ein Fahrzeug mit einem Display zur Anzeige von Ortsinformationen bezüglich eines externen Objekts.
-
Die
US 7 088 262 B2 offenbart ein Fahrzeug mit einem Display zur Anzeige eines Umfelds des Fahrzeugs, wobei der Anzeige ein Parkplatzsymbol überlagert werden kann.
-
Bekannte Systeme für eine Vogelperspektivansicht eins Fahrzeugumfeldes beschränken sich auf die Entzerrung, Kombination von Einzelbildern und auf die einfache Darstellung der Vogelperspektivansicht.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, weiterhin eine Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Kern der Erfindung ist eine synthetische, abstrahierte, intuitive Visualisierung der Fahrzeugumgebung bei der die für die Fahraufgabe relevanten Objekte, wie kollisionsrelevante Hindernisse, Bordsteine oder Straßenmarkierungen sowie Informationen, wie z.B. Parkverbotszonen, Parkgebühren oder Entfemungsgitter hervorgehoben im Fahrzeugdisplay, vorzugsweise im Display einer Headunit, dargestellt werden. Der erfindungsgemäße Ansatz ermöglicht eine zusätzliche Einblendung von für den Fahrer relevanten Zusatzinformationen bzw. eine neue Art der Darstellung. Diese Zusatzinformationen werden zum Teil durch Algorithmen der Bildverarbeitung generiert und teilweise durch Anbindung an eine digitale Karte, wie sie bei der Navigation eingesetzt wird, und das Internet gewonnen. Vorteilhafterweise kann mittels des erfindungsgemäßen Ansatzes verhindert werden, dass durch die Entzerrung und Änderung der Perspektive der relative Bezug zur echten Weit verloren geht. Zudem können Entfernungen und Abstände für den Fahrer intuitiv richtig angezeigt werden. Dies wird durch eine messtechnische Unterstützung des Fahrers in Form von Abstandsinformationen zu möglichen Hindernissen ermöglicht.
-
Darüber hinaus kann dem Fahrer durch die intuitive Einblendung von Parkverbotszonen in der Vogelperspektive Unterstützung beim Finden von Parkplätzen gegeben werden. Die Entzerrung von Objekten, die nicht vollständig von den Kameras erfasst werden, mitunter sehr irreführend bzw. führt zu Bildern, die nicht der menschlichen visuellen Wahrnehmung entsprechen. Dieser Mangel kann mit der erfindungsgemäßen Einblendung von synthetischen Objekten, die zu einer wesentlich verständlicheren Anzeige für den Fahrer führen, behoben werden.
-
Durch die Einblendung der Zusatzinformationen bzw. die Art der Darstellung erhöht sich der unmittelbare Nutzen für den Fahrer dadurch, dass Unfälle oder Verkehrsregelverstöße vermieden werden. Darüber hinaus steigert die erfindungsgemäße Art der Darstellung des Fahrzeugumfeldes den emotionalen Wert des „Surround View Systems“.
-
Die vorliegende Erfindung schafft ein Verfahren zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, mit folgenden Schritten:
- Zusammenführens einer Karteninformation mit einer Position und einer Orientierung des Fahrzeugs sowie einem Abbild des Umfelds, wobei das Abbild eine von einer Umfelderfassungseinrichtung des Fahrzeugs erfasste Information repräsentiert, um ein positionsbezogenes Abbild des Umfelds zu erhalten; und
- Aufbereiten des positionsbezogenen Abbilds mit mindestens einem Symbol, das einem klassifizierten Objekt in dem positionsbezogenen Abbild zugeordnet ist, um die aufbereiteten Bilddaten zu bestimmen.
-
Das Umfeld kann eine Umgebung des Fahrzeugs oder ein Bereich in der Umgebung des Fahrzeugs darstellen. Das Zusammenführen kann einen Vorgang bezeichnen, durch den Informationen zueinander in Bezug gebracht, miteinander verknüpft oder aneinander ausgerichtet werden. Die Karteninformation kann eine digitale Karte umfassen. Ferner kann die Karteninformation das Umfeld betreffende Zusatzinformationen, beispielsweise über Parkplätze, umfassen. Die Karteninformation kann vorab bestimmt worden sein und auf einem Datenträger des Fahrzeugs gespeichert sein oder über eine Kommunikationsschnittstelle des Fahrzeugs empfangen werden. Auch kann die Karteninformation von einer Infrastruktur in dem Umfeld des Fahrzeugs bereitgestellt und an das Fahrzeug übermittelt werden. Die Position kann einen aktuellen Ort des Fahrzeugs und die Orientierung eine aktuelle Ausrichtung des Fahrzeugs bezeichnen. Die Position und die Orientierung können mittels eines bekannten Ortsbestimmungsverfahrens ermittelt werden. Das Abbild kann einen durch eine oder mehrere Umfelderfassungseinrichtungen erfassten Bereich des Umfelds abbilden. Demnach kann das Abbild das aktuelle Umfeld des Fahrzeugs abbilden. Das positionsbezogene Abbild kann der Position des Fahrzeugs zugeordnete Informationen der Karteninformation sowie Informationen des Abbilds des Umfelds miteinander kombinieren. Im Schritt des Zusammenführens oder im Schritt des Aufbereitens kann eine Objektklassifikation mittels bekannter Objektklassifizierungsverfahren durchgeführt werden. Bei dem klassifizierten Objekt kann es sich beispielsweise um ein Fahrzeug, eine Person, eine Fahrbahnmarkierung oder Fahrbahnbegrenzung, ein Verkehrsschild oder eine Parklücke handeln. Das Symbol kann entsprechend der Objektklassifikation ausgewählt und dem klassifizierten Objekt zugeordnet werden. Das Aufbereiten kann ein Überlagern oder Mischen der Informationen des positionsbezogenen Abbilds mit den Informationen des Objekts darstellen. Dabei können Teile des positionsbezogenen Abbilds durch das Symbol ausgetauscht oder durch das Symbol teilweise oder vollständig verdeckt werden. Das Symbol kann eine vereinfachte Repräsentation des Objekts sein. Beispielsweise kann das Symbol ein Fahrzeug darstellen oder einen Fußgänger. Das Symbol kann eine geringere Informationsdichte aufweisen als das repräsentierte Objekt. Die aufbereiteten Bilddaten können mittels einer Anzeigeeinrichtung angezeigt werden. Die aufbereiteten Bilddaten können eine Vogelperspektivenansicht darstellen, das heißt, das Fahrzeug und insbesondere das Umfeld von oben zeigen. Dazu kann eine virtuelle Kameraposition so gewählt werden, dass eine Draufsicht auf das Fahrzeug und dessen Umgebung erzeugt wird. Andere virtuelle Bezugspunkte der Kamera sowie Darstellungsformen der aufbereiteten Bilddaten sind jedoch ebenso möglich.
-
Das Verfahren kann einen Schritt des Anpassens einer Ausrichtung und/oder einer Skalierung des Symbols an das klassifizierte Objekt in den aufbereiteten Bilddaten umfassen. Symbole, die zur Darstellung der Informationen in den Bilddaten verwendet werden, können durch eine maßstabsgetreue Ausführung und Anordnung einen Eindruck der Realitätsnähe der aufbereiteten Daten verstärken. Dadurch kann der Fahrer die Darstellung leichter mit der wahrgenommenen Realität verknüpfen.
-
Im Schritt des Aufbereitens kann das positionsbezogene Abbild mit einer Entfernungsverkörperung aufbereitet werden, wobei die Entfernungsverkörperung ausgebildet ist, um in den aufbereiteten Bilddaten einen Abstand zwischen einem klassifizierten Objekt und dem Fahrzeug und/oder Entfernungslinien in einer für das Fahrzeug befahrbaren Freifläche darzustellen. Die Entfernungsverkörperung kann in Gestalt eines Gitters als Entfemungsgitter ausgeführt werden. Ebenso ist eine Darstellung mit Linien gleichen Abstands von dem Fahrzeug oder als Text möglich. Durch eine Einblendung der Entfernungsinformation kann ein direkter Zusammenhang für den Fahrer zwischen den aufbereiteten Bilddaten und der Umgebung des Fahrzeugs hergestellt werden.
-
Ferner kann im Schritt des Aufbereitens das positionsbezogene Abbild basierend auf einer voraussichtlichen Bewegungsbahn des Fahrzeugs und/oder einer erkannten Trajektorie des klassifizierten Objekts aufbereitet werden. Die voraussichtliche Bewegungsbahn des Fahrzeugs kann aus aktuellen Daten des Fahrzeugs, wie Geschwindigkeit und Lenkwinkel oder Gierrate ermittelt werden.
-
Ebenso kann ein voraussichtlicher Berührungspunkt oder Kollisionspunkt mit dem Objekt vorherbestimmt werden, wenn zusätzlich erkannte Bewegungsbahnen des Objekts in den Bilddaten berücksichtigt werden. Die Bewegungsbahn lässt sich als Fahrschlauch einblenden, der die äußeren Maße des Fahrzeugs umfasst, so dass eine Überschneidung mit dem Objekt, die eine Kollisionsgefahr andeutet, sicher und schnell erkannt oder hervorgehoben werden kann.
-
Ferner kann die Karteninformation eine Information über einen Parkraum umfassen, die im Schritt des Zusammenführens mit der Position des Fahrzeugs zusammengeführt wird. Im Schritt des Aufbereitens kann das positionsbezogene Abbild mit einem dem Parkraum zugeordneten Symbol aufbereitet werden. Ein Parkraum kann Verkehrsflächen bezeichnen, die für das Parken von Fahrzeugen vorgesehen sind. Ebenso kann der Parkraum Bereiche umfassen, die für das Parken nicht vorgesehen sind, oder in denen das Parken untersagt ist. Der Parkraum kann auch Parkhäuser und Parkgaragen in der Umgebung des Fahrzeugs umfassen. In den Informationen über den Parkraum können ebenfalls Informationen über zu entrichtende Parkgebühren enthalten sein. Die Information über einen Parkraum kann von einer Infrastruktur eines Parkplatzes bereitgestellt werden.
-
Demnach kann die Karteninformation von zumindest einem fahrzeugfernen Dienst empfangen werden, wobei die Karteninformation eine Information über eine für das Fahrzeug zu entrichtende Gebühr umfasst. Dabei können Daten an den fahrzeugfernen Dienst übermittelt werden, um die Gebühr zu entrichten. Durch eine drahtlose Übertragung von Informationen von Dienstleistern über einen fahrzeugfernen Dienst, wie das Internet oder proprietäre Netzwerke von Kommunen, Straßenbetreibern oder Parkplatzbetreibern, können aktuelle und zeitkritische Informationen an den Fahrer übermittelt werden. Falls für eine Benutzung der Parkräume oder Verkehrsräume Gebühren, wie Parkplatzkosten oder Maut, anfallen, so lassen sich die dadurch notwendigen Zahlungsvorgänge bargeldlos direkt aus dem Fahrzeug über eine Netzwerkverbindung bewerkstelligen.
-
Entsprechend einer weiteren Ausführungsform der vorliegenden Erfindung kann im Schritt des Aufbereitens ein für eine aktuelle Fahraufgabe des Fahrzeugs relevantes Objekt bestimmt und in den aufbereiteten Bilddaten hervorgehoben werden. Dabei kann ein Grad des Hervorhebens abhängig von einem Abstand des relevanten Objekts zu dem Fahrzeug sein. So können beispielsweise sich im Umfeld des Fahrzeugs befindliche Hindernisse oder Sperrzonen erkannt und besonders gekennzeichnet werden. Die Hervorhebung der Objekte aus den Bildinformationen kann durch Signalfarben oder unterschiedliche Helligkeitsstufen erfolgen. Ebenso können Kanten in den aufbereiteten Bilddaten hervorgehoben werden.
-
Auch kann im Schritt des Aufbereitens das positionsbezogene Abbild mit einer digitalen Karte aus der Karteninformation ergänzt werden. Dabei lassen unterschiedliche Fahrsituationen verschiedene Möglichkeiten der Darstellung zu. Beispielsweise lässt sich das erkannte Umfeld durch Einbindung von zusätzlichen Informationen erweitern. Dazu kann ein Umfang einer dargestellten Fläche bei höherer Fahrgeschwindigkeit erhöht werden. Flächen, die über das mittels der Umfelderfassungseinrichtung erkannte Fahrzeugumfeld hinausgehen, können durch Karteninformation ergänzt werden. Eine Erweiterung des dargestellten Umfelds kann auch mehrheitlich in eine Richtung erfolgen. Dazu kann der aktuelle Fahrzustand herangezogen werden. Beispielsweise bietet sich eine Erweiterung des Darstellungsbereichs in Fahrtrichtung des Fahrzeugs an. Ebenso können die Karteninformationen die Bildinformationen gänzlich oder teilweise verdecken, wobei auch eine transparente Darstellung möglich ist.
-
Die vorliegende Erfindung schafft ferner eine Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, wobei die Vorrichtung die folgenden Merkmale umfasst:
- eine Einrichtung zum Zusammenführen einer Karteninformation mit einer Position und einer Orientierung des Fahrzeugs sowie einem Abbild des Umfelds, wobei das Abbild eine von einer Umfelderfassungseinrichtung des Fahrzeugs erfasste Information repräsentiert, um ein positionsbezogenes Abbild des Umfelds zu erhalten; und
- eine Einrichtung zum Aufbereiten des positionsbezogenen Abbilds mit mindestens einem Symbol, das einem klassifizierten Objekt in dem positionsbezogenen Abbild zugeordnet ist, um die aufbereiteten Bilddaten zu bestimmen.
-
Die Vorrichtung kann ein Informationssystem, insbesondere ein Navigationssystem, oder ein Teil davon sein. Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Verfahrens beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiels der vorliegenden Erfindung;
- 2 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiels der vorliegenden Erfindung;
- 3 ein Blockschaltbild eines Ausführungsbeispiels eines TopView-Systems gemäß einem Ausführungsbeispiels der vorliegenden Erfindung; und
- 4 eine mögliche Darstellungsform einer Fahrzeugumfeld-Visualisierung auf Basis eines Multikamerasystems gemäß einem Ausführungsbeispiels der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt ein Ablaufdiagramm eines Verfahrens zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, gemäß einem Ausführungsbeispiels der vorliegenden Erfindung. In einem Schritt 110 erfolgt ein Zusammenführen einer Karteninformation mit einer Position des Fahrzeugs, einer Orientierung des Fahrzeugs und einem Abbild des Umfelds. Durch das Zusammenführen wird ein positionsbezogenes Abbild des Umfelds geschaffen. In einem Schritt 120 wird das positionsbezogene Abbild mit mindestens einem Symbol aufbereitet, um die aufbereiteten Bilddaten zu erhalten. Das Symbol ist dabei einem klassifizierten Objekt zugeordnet, das von dem positionsbezogenen Abbild umfasst ist.
-
Die Karteninformation, Informationen über die Position und das Abbild des Umfelds können dem Verfahren über geeignete Schnittstellen zugeführt werden oder mittels vorrangegangener Verfahrensschritte bestimmt werden. Beispielsweise kann das Abbild von einem Kamerasystem und einer entsprechenden Bildaufbereitung bereitgestellt werden. Die Position des Fahrzeugs und die Orientierung oder Ausrichtung des Fahrzeugs kann von einem Satellitenortungssystem oder einem optischen Positionsbestimmungssystem bereitgestellt werden. Durch den Schritt 110 des Zusammenführens wird die Karteninformation in Relation zum Abbild des Umfelds und zu der Position und Orientierung des Fahrzeugs gebracht. Daraus ergibt sich das positionsbezogene Abbild des Fahrzeugumfelds, das im Schntt 120 aufbereitet wird. Dabei kann zunächst eine Erkennung und Klassifzierung des Objekts mittels eines oder mehrerer Verfahrensschritte durchgeführt werden. Anschließend kann jedem oder ausgewählten erkannten oder klassifizierten Objekten im positionsbezogenen Abbild ein entsprechendes Symbol aus einer bereitgestellten Datenbank zugeordnet werden. Die aufbereiteten Bilddaten können ausgegeben und von einer Anzeigeeinrichtung angezeigt werden.
-
2 zeigt ein Blockschaltbild einer Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs 200, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung weist ein Kamerasystem 202, eine Einrichtung 204 zum Zusammenführen, eine Einrichtung 206 zum Aufbereiten und eine Anzeigeeinrichtung 208 auf. Auf der Vorrichtung kann das Verfahren zum Bestimmen von aufbereiteten Bilddaten über das Umfeld des Fahrzeugs umgesetzt werden.
-
Das Kamerasystem 202 ist ausgebildet, um eine Mehrzahl von Bildern eines Umfelds des Fahrzeugs 200 aufzunehmen. Aus den Bildern kann ein Abbild des Umfelds zusammengestellt werden. Das Abbild kann eine Blickwinkelverschiebung beinhalten, so dass das Umfeld aus einer Vogelperspektive wiedergegeben werden kann. Objekte im Umfeld können erkannt und klassifiziert werden. Die Einrichtung 204 ist ausgebildet, um das Abbild des Umfelds mit Karteninformationen und einer Position des Fahrzeugs 200 zusammenzuführen. Dazu kann die Einrichtung 204 entsprechende Schnittstellen aufweisen. Ein in der Einrichtung 204 aus dem Abbild, den Karteninformationen und der Position ermittelte positionsbezogene Abbild wird von der Einrichtung 206 weiterverarbeitet. Die Einrichtung 206 ist ausgebildet, um den in dem positionsbezogenen Abbild erkannten Objekten Symbole zuzuordnen und aus den Symbolen und dem positionsbezogenen Abbild die aufbereiteten Bilddaten zu ermitteln. Eine Datenbank mit den entsprechenden Symbolen kann in der Einrichtung 206 gespeichert sein. Die aufbereiteten Bilddaten werden von der Einrichtung 206 die Anzeigeeinrichtung 208 ausgegeben. Die Anzeigeeinrichtung 208 ist ausgebildet, um die aufbereiteten Bilddaten für eine Insassen des Fahrzeugs, beispielsweise auf einem Bildschirm, darzustellen.
-
3 zeigt ein Blockschaltbild einer Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs, gemäß einem Ausführungsbeispiel der Vorliegenden Erfindung. Gemäß diesem Ausführungsbeispiel ist die Vorrichtung als ein TopView-System ausgeführt.
-
Die Vorrichtung weist eine Umfelderfassungseinrichtung auf, die eine Mehrzahl von Kameras 302 und zusätzlich oder alternativ eine oder mehrere Radar-, Ultraschall- oder Lidareinrichtungen umfasst. Ferner weist die Vorrichtung eine Generierungseinrichtung 306, eine Erkennungseinrichtung 308, eine Lokalisierungseinrichtung 310 mit einer Positionsbestimmungseinrichtung 312, eine Fusionseinrichtung 314 mit einer digitalen Karte 316 und einem Zugang zum Internet 318 sowie eine Zuordnungseinrichtung 320 mit einer Symboldatenbank 322 auf.
-
Die Generierungseinrichtung 306 ist ausgebildet, um eine Aufnahme der Videokamerabilder der Kameras 302 zu steuern und eine Generierung einer dreidimensionalen Umgebungskarte und einer TopView Darstellung durchzuführen. Basierend auf der von der Generierungseinrichtung 306 erzeugten Information ist die Erkennungseinrichtung 308 ausgebildet, um eine videobasierte Objekterkennung und Klassifikation durchzuführen. Zusätzlich wird eine videobasierte Landmarkenerkennung durchgeführt. Eine Lokalisierungseinrichtung 310 weist eine Schnittstelle zu der Positionsbestimmungseinrichtung 312, die basierend auf einer Satellitenortung über GPS oder Galileo eine Information über die Position des Fahrzeugs an die Positionsbestimmungseinrichtung 312 bereitstellen kann. Die Positionsbestimmungseinrichtung 312 ist ausgebildet, um eine Egolokalisierung basierend auf der Position des Fahrzeugs und zusätzlich oder alternativ landmarkenbasiert durchzuführen. Die Fusionseinrichtung 314 weist Schnittstellen zu der digitalen Karte 316 und dem Internet 318 auf. Die Fusionseinrichtung 314 ist ausgebildet, um eine Fusion der Videodaten mit der digitalen Karte 316 sowie eine Fusion mit Daten aus dem Internet 318 durchzuführen. Die Zuordnungseinrichtung 320 ist ausgebildet, um eine Zuordnung von Symbolen aus der Symboldatenbank 322 zu erkannten Objekten durchzuführen. Desweiteren ist die Zuordnungseinrichtung 320 ausgebildet, um eine Bildkomposition aus dem Top-View Bild, Internetbildern und synthetischen Bildelementen durchzuführen. Eine Anzeige der Bildkomposition kann in einem Display durchgeführt werden.
-
Im Folgenden werden anhand der 3 unterschiedliche Ausführungsbeispiele einer Fahrzeugumfeld-Visualisierung auf Basis eines Multikamerasystems beschrieben.
-
Basis des Systems ist ein Multikamerasystem, wobei mehrere Kameras 302 rund um das Fahrzeug so angeordnet sind, dass eine lückenlose Erfassung des Fahrzeugumfeldes gegeben ist. Aus den Daten dieser Kameras 302 wird eine sogenannte „TopView Darstellung“ (gezeigt in 4) generiert und auf einem Display angezeigt. Die Berechnung der TopView Darstellung sowie alle weiteren Algorithmen zur Generierung der Zusatzinformationen finden vorzugsweise, jedoch nicht zwingend, direkt auf der Headunit statt.
-
Im Folgenden werden nun mehrere Realisierungen beschrieben, die eine Erhöhung des Nutzens bedeuten. Gemäß 3 besteht das erfindungsgemäße System aus mehreren Modulen, die im Einzelnen folgende Funktionen beinhalten. Das Multikamerasystem 302 ist an ein Videoeingangsmodul 306 angeschlossen. In diesem Videoeingangsmodul 306 werden die Bilder der einzelnen Videokameras 302 aufgenommen. Über Methoden der Gewinnung von Tiefeninformationen in einem Videobild wie Structure from Motion wird eine dreidimensionale Umgebungskarte des erfassten Fahrzeugumfeldes berechnet. Dies geschieht optional auch unter Verwendung vorhandener Umfeldsensorik 304 wie Ultraschallparksensoren sowie Radar- und Lidarsensoren. Auf der Basis der 3D-Umgebungskarte werden die Videobilddaten der einzelnen Kameras 302 zu einer Top-View-Perspektive umgerechnet und miteinander kombiniert. Ausgehend von den so gewonnenen Informationen werden in einem Objekterkennungsmodul 308 vorhandene Objekte und Landmarken mit bekannten Methoden detektiert und nach Möglichkeit klassifiziert. Die in der Headunit sowieso vorhandene GPS/Galileo-basierte Lokalisierung des eigenen Fahrzeugs wird um bekannte Methoden der videobasierten Lokalisierung mittels erkannter Landmarken, wie SLAM erweitert. Dies erfolgt in einem Lokalisierungsmodul 310. Nach erfolgter Lokalisierung werden die Daten aus der beschriebenen Videoverarbeitung und der digitalen Karte 316 in einem Fusionsmodul 314 fusioniert. In einem Synthesemodul 320 erfolgt die Zuordnung von Normsymbolen zu den klassifizierten Objekten und Landmarken. Dabei kommen die Symbole aus einer Datenbank 322, wobei die Datenbank in landestypische Symbole unterteilt wird. Zentrale Funktion dieses Moduls ist die Komposition des darzustellenden Bildes aus den synthetischen Elementen und dem zuvor generierten TopView Bild.
-
Gemäß einer Ausführungsform werden in das TopView Bild Informationen zu Parkverbotszonen ortsrichtig bzw. für den Fahrer intuitiv wahrnehmbar eingeblendet. Die Informationen zur Größe und Position der Parkverbotszonen können aus der digitalen Karte entnommen werden, was im Fall einer Realisierung auf der Headunit einfach möglich ist. Wichtige Voraussetzung dafür ist eine Lokalisierung des eigenen Fahrzeugs mittels GPS/Galileo und/oder eine videobasierte Landmarkenlokalisierung mit Bezug zur digitalen Karte. Darüber hinaus können Parksperrflächen mit Methoden der Bildverarbeitung erkannt und entsprechend angezeigt werden. Gemäß einem Ausführungsbeispiel können Parkverbotszonen, die in der Karte abgelegt sind und im Videobild erkannte Parkverbotszonen, per Verkehrszeichenerkennung oder Erkennung von gezackten Parksperrflächen, gegenseitig plausibilisiert werden.
-
Gemäß einem Ausführungsbeispiel können durch die Anbindung an die digitale Karte 316, optional erweitert um eine Internetverbindung 318 per Mobilfunklink oder DSRC Maut System, Informationen zu Parkgebühren in das TopView Bild eingeblendet und über die Funkverbindungen auch entsprechende Buchungsvorgänge abgewickelt werden.
-
Gemäß einem Ausführungsbeispiel können mittels Methoden der Bildverarbeitung, wie „Structure from Motion“ oder Gradienten- und Kantendetektionsverfahren, in Kombination mit Ebenenschätzverfahren Bordsteinkanten bzw. Parkmarkierungen in den Kamerabildern detektiert und in das TopView-Bild besonders hervorgehoben eingezeichnet werden. Die Art der Hervorhebung kann dabei mit dem Abstand zur Bordsteinkante variieren. Die Relevanz wird über die Art und Weise der Darstellung wie folgt codiert. Dicht am Fahrzeug befindliche Kanten werden deutlicher hervorgehoben als weiter entfernte Bordsteinkanten. Die Hervorhebung kann derart erfolgen, dass die Farbe, wie eine Signalfarbe bzw. die Helligkeit des Bordsteins der hervorgehoben werden soll entsprechend verstärkt wird. Das gleiche gilt für detektierte Hindernisse beispielsweise Parkhauspfeiler oder Blumenkübel welche als erkannte Objekte im TopView Bild hervorgehoben werden.
-
Gemäß einem Ausführungsbeispiel können Objekte, die in den Multikamerabildem mittels entsprechenden Methoden detektiert werden, im Videobild vermessen und klassifiziert. Auf Basis der Objektklassifikation erfolgt im TopView-Bild die Anzeige eines klassifizierten Objektes mittels eines Normsymbols, welches dann maßstabsgetreu und bei Farbkamerasystemen auch in der richtigen erkannten Farbe in das TopView-Bild eingezeichnet wird. Naheliegende Normsymbole für im Straßenverkehr anzutreffende Objekte sind beispielsweise das Norm-Autosymbol, oder das Norm-Fußgängersymbol, welche in einer Symboldatenbank 322 vorliegen.
-
Durch die Entzerrung und die perspektivische Darstellung kommt es zu einer möglichen Missdeutung der real vorhandenen Abstände und Entfernungen durch den Fahrer. Gemäß einem Ausführungsbeispiel kann dieses Problem durch eine Einblendung eines Entfernungsgitters in das TopView Bild gelöst werden, beschränkt auf den Bereich detektierter Freiflächen rund um das Egofahrzeug. Damit erhält der Fahrer einen optimalen Bezug zu real vorhandenen Abständen innerhalb der von ihm befahrbaren Flächen. Abstände zwischen dem eigenen Fahrzeug und kollisions- relevanten Hindernissen in Fahrtrichtung können zusätzlich in das TopView-Bild eingezeichnet werden. Dabei erfolgt die Auswahl des relevanten Objektes über die Prädiktion des eigenen Fahrschlauchs in Kombination mit der erkannten Trajektorie anderer im Erfassungsbereich befindlicher Fahrzeuge. In diesem Fall wird der Abstand zu einem prädizierten Kollisionspunkt berechnet und angezeigt, wie es in 4 gezeigt ist. Weitere Auswahlkriterien können das nächstgelegene Hindernis oder aber die manuelle Auswahl über den Touchscreen des Fahrerinformationssystems sein. Zusätzlich zu den erwähnten Abstandsinformationen wird der eigene prädizierte Fahrschlauchs, beispielsweise in halbtransparenter Form, in das TopView-Bild eingeblendet. Die Prädiktion des Fahrschlauchs erfolgt dabei auf der Basis des gemessenen Lenkwinkels und der Gierrate des Fahrzeugs.
-
Gemäß einem Ausführungsbeispiel kann durch die Anbindung an die digitale Karte 316 eine gemischte Darstellung aus dem TopView Bild und der digitalen Karte 316 erzeugt werden. Der Übergang zwischen den beiden Darstellungsarten kann dabei fließend sein, bzw. über ein geschwindigkeitsabhängiges Zoomlevel geregelt werden. Die gemischte Darstellung kann aber auch aus einem echten TopView-Kamerabild und einem halbtransparenten Kartenabbild im richtigen Maßstab bestehen
-
Gemäß einem Ausführungsbeispiel können kann statt des Kartenbildes ein Luftbild oder ein Satellitenbild verwendet werden, welches beispielsweise in einer Datenbank vorliegt, oder per Internetlink in das Fahrzeug übertragen wird. Auch hier kann eine gemischte Darstellung in einer halbtransparenten Überlagerung des Satellitenbildes über der TopView-Kameradarstellung realisiert werden. Die Datenbank wird dadurch gefüllt, dass potentielle Serviceanbieter wie Einkaufszentren, Messen und Restaurants Luftbilder oder Orientierungspläne oder Grundrisse ihrer jeweiligen Parkhäuser oder Parkplätze per Internet oder Datenträger anbieten. Zur effizienten Ausnutzung der Rechenressourcen auf der Headunit wird vorgeschlagen, die in der Datenbank vorhandenen Luftbilder oder Grundrisse zu einem früheren Zeitpunkt als der eigentlichen Anzeige vorzuverarbeiten. Dies bedeutet das die Bilder mittels Methoden der Bildverarbeitung hinsichtlich zu erkennender Parksperrflächen und Objekten entweder schon bei ihrer Ablage in der Datenbank „markiert“ werden, oder sobald sich das Fahrzeug dem „Zielgebiet“ nähert.
-
Gemäß einem Ausführungsbeispiel kann die TopView Darstellung dahingehend situationsabhängig geändert werden, dass die virtuelle Kamera so positioniert wird, dass sie dem Fahrer die optimale Sicht auf die für ihn relevante Szene gibt. Dies kann derart gestaltet sein, dass beispielsweise bei Einlegen des Rückwärtsgangs die virtuelle Kameraposition etwa über der Motorhaube gewählt wird, so dass der Fahrer sein eigenes Fahrzeug und möglichst viel vom Umfeld in Fahrtrichtung im Display sieht. Sowohl die Position als auch die Blickrichtung, Blickwinkel und der Zoomlevel der virtuellen Kamera können auch mit dem Lenkwinkel und der aktuellen Egogeschwindigkeit variieren
-
Als Alternative zur TopView-Darstellung der Multikamerabilder kann eine Panorama Darstellung des Fahrzeugumfeldes im Display realisiert werden. Dabei werden die Bilder der einzelnen Kameras nicht perspektivisch verändert, sondern lediglich so vorverarbeitet, dass sie zu einem hochwertigen Panoramabild zusammengefügt werden können. Dabei gelangt aber nicht ein komplettes Panoramabild zur Anzeige, sondern immer nur ein Teil des Panoramabildes, der einer bestimmten Blickrichtung entspricht. Die Entscheidung darüber, welche Blickrichtung gerade zur Anzeige kommt, trifft entweder der Fahrer durch Scrollen auf dem Touchscreen oder durch iDrive- oder Tastatureingabe z.B. an der Headunit. Alternativ kann die Blickrichtung der virtuellen Kamera anhand der erkannten Fahrsituation automatisch ausgewählt werden. Beispiele dafür sind rückwärtsfahren oder Rückwärtsgang einlegen, Blickrichtung nach hinten, Vorbeifahren an einer Parklücke Blickrichtung zur Seite bzw. schräg nach hinten. Abhängig von der jeweiligen Fahrsituation lässt sich mit dem System auch der Blickwinkelbereich skalieren. Wichtig dabei ist es, dem Fahrer in geeigneter Form eine Orientierung zu geben in welche Richtung sein Multikamerasystem gerade blickt. Dies kann z.B. über eine Kompassrose in Form eines Fahrzeugsymbols erfolgen, in dem die aktuelle Blickrichtung und der aktuelle Blickwinkel speziell eingefärbt sind.
-
Gemäß einem Ausführungsbeispiel können kann für die Darstellung des Top-View-Bildes und der überlagerten synthetischen Elemente ein Displaysystem zur Erzeugung eines 3-dimensionalen Eindrucks verwendet werden. Beispielsweise können autostereoskopische Systeme eingesetzt werden, bei denen keine 3D-Brille benötigt wird.
-
4 zeigt eine Darstellungsform aufbereiteter Bilddaten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt ist ein relevantes Hindernis in einem aktuellen Fahrschlauch. Zwei Fahrzeuge 200 und 402 sind auf einer Straße 404 dargestellt. Um das Fahrzeug 402 ist ein runder Bereich 406 aufgehellt dargestellt. Hinter dem Fahrzeug 200 ist ein Fahrpfad 408 in Gestalt eines Fahrschlauchs dargestellt. Innerhalb des Fahrschlauchs 408 ist eine Entfernungsangabe 410 zwischen den zwei Fahrzeugen 200 sowie 402, in diesem Ausführungsbeispiel 6m dargestellt. In dem Ausführungsbeispiel befindet sich das Fahrzeug 200, dass das Egofahrzeug darstellt, in einer Fahrsituation des Einparkens. Dazu hat der Fahrer den Rückwärtsgang eingelegt und im Fahrzeug 200 wird ansprechend auf das Rückwärtsfahrsignal die Darstellung auf die Situation „einparken“ angepasst. Dazu wird basierend auf einer aktuellen Fahrtrichtung, einer aktuellen Gierrate und einen aktuellen Lenkereinschlagwinkel ein Fahrpfad ermittelt und als Fahrschlauch 408 dargestellt. Befindet sich im ermittelten aktuellen Fahrschlauch 408 ein relevantes Hindernis, in diesem Fall das Fahrzeug 402, so wird es durch den aufgehellten Bereich 406 in der Darstellung besonders hervorgehoben. Zusätzlich wird die Entfernungsinformation 410 in die Darstellung eingeblendet, die den Abstand zwischen den zwei Fahrzeugen 200 und 402 wiedergibt. Andere Hindernisse, wie beispielsweise Bordsteinkanten oder Begrenzungselemente werden ebenfalls erkannt und können zusätzlich hervorgehoben werden. Die Entfernungsinformation 410 kann auch auf andere Art und Weise dargestellt werden. Dazu lassen sich beispielsweise Linien in vorbestimmten Abständen rund um das Fahrzeug 200 eingeblendet werden. Diese Linien könne ausschließlich auf befahrbaren Flächen eingeblendet werden. Alternativ zu den Linien lässt sich die Entfernungsdarstellung auch mit einem projizierten Gitter auf die Fahrbahn bewerkstelligen. Die Fahrzeuge 200 und 402 sind in dieser Darstellung durch symbolische Fahrzeuge ersetzt. Dadurch kann auch die vom Fahrzeug 200 abgewandte Seite des Fahrzeugs 402 dargestellt werden. Das Fahrzeug 200 als Egofahrzeug ist mit einer symbolischen Lenkraddarstellung gekennzeichnet.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Femer können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder“ Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
