-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition gemäß Anspruch 1.
-
In aktuellen Fahrerinformationssystemen kommen u.a. Multikamerasysteme zum Einsatz mit dem Ziel, dem Fahrer einen Rundumblick um das eigene Fahrzeug zu ermöglichen. Diese Systeme werden vorzugsweise bei Parkmanövern genutzt, um dem Fahrer mögliche Hindernisse oder Begrenzungslinien im Display anzuzeigen. Mögliche Ausprägungen bestehen in der simultanen Anzeige der einzelnen Bilder oder aber einer aus mehreren Bildern zu einem Panoramabild kombinierten 360°-Darstellung. Eine weitere Ausprägung ist der sogenannte „Birds Eye View“, bei dem die Perspektive der Kamera virtuell durch Umrechnung so geändert wurde, dass der Eindruck entsteht, als würde man aus der Vogelperspektive auf die Szene schauen.
-
Die
DE 10 2007 053 305 A1 zeigt ein Verfahren zur Ausgabe von optischen Fahrempfehlungen in einem Fahrzeug auf der Basis einer vorgegebenen Fahrtroute, das einen Schritt des Aufnehmens eines Abbildes einer realen Fahrzeugumgebung in eine Fahrtrichtung des Fahrzeugs und einen Schritt des Erfassens des aktuellen geographischen Standortes des Fahrzeugs aufweist. Ferner weist das Verfahren einen Schritt des Bestimmens eines Hinweissymbols, abhängig von der vorgegebenen Fahrtroute und von dem erfassten geographischen Standort und einen Schritt des perspektivischen Korrigierens des bestimmten Hinweissymbols, um eine Ansicht des Hinweissymbols zu erreichen, die einer Ansicht einer Fahrbahnmarkierung auf einem Fahrweg in einem Display entspricht. Schließlich umfasst das Verfahren einen Schritt des Bestimmens eines Hinweissymbols und einen Schritt des Kombinierens des aufgenommenen Abbildes mit dem perspektivisch korrigierten Hinweissymbol sowie Anzeigen des kombinierten Abbildes auf einem Display.
-
Aus der
US 2003/0076414 A1 ist eine Anzeigeeinrichtung zur Darstellung einer Fahrzeugumgebung bekannt, bei dem ein Bild einer Fahrzeugumgebung dargestellt wird. Wird ein Hindernis in der Fahrzeugumgebung erfasst, wird das Hindernis dabei anhand einer Datenbank analysiert und durch ein dem Hindernis in der Datenbank zugeordnetes Symbol in der Umgebungsdarstellung ersetzt.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition gemäß Anspruch 1 vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Die vorliegende Erfindung schafft ein Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, insbesondere aus einer Vogelperspektive.
-
Das Verfahren kann beispielsweise in Zusammenhang mit einem Navigationssystem des Fahrzeugs eingesetzt werden. Bei dem Abbild kann es sich z.B. um eine Darstellung auf einem Bildschirm des Navigationssystems handeln. Das Abbild kann z.B. eine konkrete Einparkszene aus der Vogelperspektive wiedergeben, die das Fahrzeug zusammen mit das Fahrzeug umgebenden Objekten umfasst, auf die ein Fahrer des Fahrzeugs zu achten hat, um z.B. das Fahrzeug korrekt und ohne Beschädigungen einzuparken. Bei dem einen Objekt oder der Mehrzahl von Objekten kann es sich beispielsweise um ein weiteres Fahrzeug und dessen Typ, Einparkmarkierungen und Bebauung oder Vegetation handeln, die bei einem ein Parkvorgang zu umfahren sind oder zu denen ein gewisser Abstand des eingeparkten Fahrzeugs bestehen sollte, um beispielsweise Fahrzeugtüren ohne Gefahr der Beschädigung des Fahrzeugs und/oder des Objekts öffnen zu können. Die Umgebung des Fahrzeugs kann beispielsweise sämtliche Objekte im 360°-Winkel um das Fahrzeug herum betreffen, die im Zusammenhang mit einem Einparkvorgang des Fahrzeugs von Bedeutung sind. Die virtuelle Kameraposition wird beispielsweise durch Umrechnung von Erfassungsdaten mindestens eines Sensors des Fahrzeugs erhalten. Die virtuelle Kameraposition kann sich mittig oder seitlich über dem Fahrzeug befinden, so dass durch diese sämtliche relevante Objekte in der Umgebung des Fahrzeugs virtuell für die Kamera sichtbar sind.
-
Die von dem Sensor gelieferten Daten können eine Entfernung sowie eine Größe und Form des von dem Sensor erfassten Objekts in der Umgebung des Fahrzeugs repräsentieren. Bei dem Sensor kann es sich neben einer Kamera auch um einen anderen optischen Messgrößenaufnehmer handeln. Insbesondere zur Ermittlung der Entfernung und einer dreidimensionalen Ausprägung des Objekts kann das Fahrzeug auch eine Mehrzahl von Sensoren aufweisen, beispielsweise einen im vorderen Bereich und einen im hinteren Bereich des Fahrzeugs. Auch eine Kombination eines optischen Sensors mit einem Distanzsensor, beispielsweise einem Radar- oder Ultraschallsensor ist möglich. Sollte lediglich ein Sensor im Fahrzeug verfügbar sein, so kann beispielsweise eine Entfernung des Fahrzeugs von dem Objekt auch aus vorab bestimmten Maßen geschlossen werden, die beispielsweise in einem Speicher des Navigationssystems hingelegt sein können. Der nicht einsehbare Bereich des Objekts kann beispielsweise einen Fahrzeugaufbau eines Lastkraftwagens betreffen, der über einen Erfassungsbereich eines an einer Karosserie eines Pkw angebrachten Sensors hinausgeht. Der Schritt des Bestimmens kann beispielsweise mit einem geeigneten Algorithmus erfolgen.
-
Die Erfindung basiert auf der Erkenntnis, dass mittels einer synthetischen Darstellung von in einer Fahrzeugumgebung detektierten Objekten einem Fahrer eines Fahrzeugs eine vollständige Darstellung der Fahrzeugumgebung bzw. Szene aus der Vogelperspektive ermöglicht werden kann, wodurch der Fahrer diese somit wesentlich intuitiver erfassen kann.
-
Gemäß dem hier vorgestellten Ansatz kann der Problematik Rechnung getragen werden, dass am Fahrzeug verbaute Kameras naturgemäß in geringer Höhe verbaut sind, so dass hohe Objekte und Bereiche hinter Objekten nicht vollständig erfasst werden können. Vorteilhafterweise können mit dem hier vorgestellten Ansatz nicht dargestellte Bereiche bzw. „schwarze Flecken“ in einer Darstellung der Fahrzeugumgebung vermieden werden, indem diese „schwarzen Flecken“ durch Einblendung des synthetisch erzeugten grafischen Objekte ersetzt werden. Dies gilt z.B. auch für Objekte, die zwar erkannt und vollständig darstellbar sind, aber durch perspektivische Verzerrung nicht mehr für den Fahrer intuitiv erfassbar sind.
-
Um diese „schwarzen“ Bereiche mit intuitiv erfassbarem Inhalt zu füllen, können vorteilhafterweise z.B. die Konturen dieser Bereiche mit synthetischen grafischen Elementen gefüllt werden. Sollte mittels Objektklassifikation sogar bekannt sein, um welche Art von Objekt es sich handelt, z.B. um einen Fußgänger, ein Auto, einen LKW, ein Verkehrsschild, etc., so können für diese erkannten und klassifizierten Objekte beispielsweise entsprechende grafische Elemente in die Darstellung ortsrichtig eingezeichnet werden.
-
Bei dem synthetischen grafischen Element kann es sich beispielsweise um einen für einen bestimmten Fahrzeugtyp typischen Teilbereich z.B. der Karosserie handeln. Es kann sich dabei auch um einen Gebäudeteil handeln, der z.B. durch Umrechnung von Daten eines von dem Sensor erfassbaren Bereichs des Gebäudes visuell darstellbar gemacht werden kann. Das synthetische grafische Element kann beispielsweise aus einem Speicher abrufbar sein oder im stets aktuellen Fall aus den erfassten und bekannten Daten bezüglich des Objekts ermittelt und unmittelbar bereitgestellt werden. Der Schritt des Einsetzens kann mittels eines geeigneten Algorithmus erfolgen. Das synthetische grafische Element kann ausgebildet sein, um im eingesetzten Zustand den gesamten nicht einsehbaren Bereich des Objekts oder einen Abschnitt des nicht einsehbaren Bereichs abzudecken. Auf diese Weise kann das Abbild des mindestens einen Objekts z.B. so auf dem Bildschirm des Navigationssystems dargestellt werden, dass das Objekt für den Fahrer des Fahrzeugs mit Blick auf den Bildschirm intuitiv erkennbar ist.
-
Gemäß einer Ausführungsform kann das Verfahren ferner einen Schritt des Klassifizierens des Objekts aufweisen. Dabei kann in dem Schritt des Bereitstellens das synthetische grafische Element in Form eines Symbols für zumindest einen Teilbereich des klassifizierten Objekts bereitgestellt werden. In dem Schritt des Klassifizierens kann bestimmt werden, ob es sich bei dem teilweise erfassten Objekt beispielsweise um einen Fußgänger, ein Verkehrsschild oder ein weiteres Fahrzeug handelt. Auch ein Typ eines teilweise erfassten Fahrzeugs, z.B. ein Lastkraftwagen oder ein Pkw, kann in dem Schritt des Klassifizierens bestimmt werden, z.B. indem ein erfasster Teilbereich mit in einer Datenbank des Navigationssystems hinterlegten Musterobjekten verglichen wird. Vorteilhafterweise kann so der Schritt des Einsetzens wesentlich schneller erfolgen und es kann unter Umständen der gesamte nicht einsehbare Bereich auf einmal ersetzt werden.
-
Gemäß einer weiteren Ausführungsform kann das Verfahren ferner einen Schritt des Erfassens weiterer Daten über das Objekt aus einer weiteren Position aufweisen, die sich von einer Position des Sensors unterscheidet, in der die Daten für den Schritt des Bestimmens erfasst wurden. Dabei können sich die weiteren Daten zumindest auf einen Teil des für den Sensor nicht einsehbaren Bereichs des Objekts beziehen. Zusätzlich kann das Verfahren einen Schritt des zumindest teilweisen Ersetzens des synthetischen grafischen Elements durch eine Darstellung eines aus der weiteren Position erfassten Bereichs des Objekts aufweisen. Bei der weiteren Position kann es sich um die Position eines weiteren Sensors am Fahrzeug oder auch um eine zeitlich und/oder örtlich versetzte Position desselben Sensors handeln, der bereits die Daten über das Objekt geliefert hat. Die zeitlich und/oder örtlich versetzte Position ergibt sich beispielsweise aus einer Vorbeifahrt des Fahrzeugs an dem Objekt. Auf diese Weise kann Schritt für Schritt das synthetische Element durch eine Darstellung des realen Objektabschnitts ersetzt werden, wobei das Objekt für den Fahrer des Fahrzeugs kontinuierlich intuitiv erfassbar bleibt.
-
Ferner kann der Schritt des zumindest teilweisen Ersetzens durchgeführt werden, wenn die weiteren Daten einen vorbestimmten Anteil einer anzunehmenden Gesamtoberfläche des Objekts repräsentieren. So kann vorteilhaft vermieden werden, dass der Fahrer des Fahrzeugs durch zu viele Wechsel der Darstellung z.B. auf dem Bildschirm des Navigationsgeräts verwirrt wird.
-
Auch kann der Schritt des zumindest teilweisen Ersetzens unterbleiben, wenn erkannt wurde, dass sich das Objekt über einen vertikalen Erfassungsbereich des Sensors hinaus erstreckt. Vorteilhafterweise kann so das Objekt für den Fahrer besser intuitiv erfassbar gemacht werden, da die sogenannten schwarzen Flächen bei für den Sensor nicht einsehbaren Bereichen vermieden werden können.
-
Gemäß einer weiteren Ausführungsform kann der Schritt des zumindest teilweisen Ersetzens unterbleiben, wenn bei mindestens einem weiteren Objekt in der Umgebung des Fahrzeugs erkannt wurde, dass sich das weitere Objekt über den vertikalen Erfassungsbereich des Sensors hinaus erstreckt. Auch hier ist der Vorteil einer Vermeidung einer visuellen Überforderung des Fahrers aufgrund zu häufiger Darstellungswechsel gegeben.
-
Gemäß einer Ausführungsform kann der Schritt des zumindest teilweisen Ersetzens abhängig von einer Einstellung durch einen Fahrer des Fahrzeugs durchgeführt werden. Die Einstellung kann beispielsweise manuell über Tasten des Navigationssystems oder einen Sprachbefehl vorgenommen werden und bietet dem Fahrer eine Möglichkeit der Einflussnahme auf eine Realitätstreue der Objektwiedergabe, die seinem persönlichen Empfinden am besten entspricht.
-
Die vorliegende Erfindung schafft femer eine Vorrichtung zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, insbesondere aus einer Vogelperspektive, wobei die Vorrichtung die folgenden Merkmale aufweist:
- - eine Einrichtung zum Bestimmen, basierend auf Daten mindestens eines Sensors des Fahrzeugs, insbesondere einer Kamera, eines für den Sensor nicht einsehbaren Bereichs des Objekts;
- - eine Einrichtung zum Bereitstellen eines synthetischen grafischen Elements zur Einsetzung in den nicht einsehbaren Bereich des Objekts, und
- - eine Einrichtung zum Einsetzen des synthetischen grafischen Elements in den nicht einsehbaren Bereich des Objekts, um das Abbild des mindestens einen Objekts in der Umgebung des Fahrzeugs aus der virtuellen Kameraposition, insbesondere aus der Vogelperspektive, zu erzeugen.
-
Die Vorrichtung kann beispielsweise mit einem Navigationssystem des Fahrzeugs verbunden sein. Bei den Einrichtungen kann es sich um Signalverarbeitungsgeräte handeln, die in die Vorrichtung integriert oder mit der Vorrichtung verbunden sind.
-
Die Vorrichtung kann ausgebildet sein, um die Schritte des erfindungsgemäßen Verfahrens durchzuführen bzw. umzusetzen. Insbesondere können die Einrichtungen der Vorrichtung ausgebildet sein, um einen Schritt des Verfahrens auszuführen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Signale für eine Anzeige ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert ist und zur Durchführung des Verfahrens nach einem der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einer Vorrichtung ausgeführt wird.
-
Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 eine Darstellung einer Szene in der Vogelperspektive mit verzerrt dargestellten Objekten;
- 2 eine Darstellung der Szene in der Vogelperspektive aus 1 mit perspektivisch entzerrten Objekten und nicht darstellbaren Bereichen;
- 3 eine Darstellung der Szene in der Vogelperspektive aus 1 mit perspektivisch entzerrten Objekten und synthetisch eingezeichneten Objekten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
- 4 ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
- 5 ein Blockschaltbild einer Vorrichtung zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Gleiche oder ähnliche Elemente können in den Figuren durch gleiche oder ähnliche Bezugszeichen versehen sein, wobei auf eine wiederholte Beschreibung verzichtet wird. Ferner enthalten die Figuren der Zeichnungen, deren Beschreibung sowie die Ansprüche zahlreiche Merkmale in Kombination. Einem Fachmann ist dabei klar, dass diese Merkmale auch einzeln betrachtet werden oder sie zu weiteren, hier nicht explizit beschriebenen Kombinationen zusammengefasst werden können. Weiterhin ist die Erfindung in der nachfolgenden Beschreibung eventuell unter Verwendung von unterschiedlichen Maßen und Dimensionen erläutert, wobei die Erfindung nicht auf diese Maße und Dimensionen eingeschränkt zu verstehen ist. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal/Schritt und einem zweiten Merkmal/Schritt, so kann dies so gelesen werden, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal / den ersten Schritt als auch das zweite Merkmal /den zweiten Schritt und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal /Schritt oder nur das zweite Merkmal /Schritt aufweist.
-
1 zeigt eine Darstellung einer Szene in der Vogelperspektive mit verzerrt dargestellten Objekten. Gezeigt sind ein Ego-Fahrzeug 100 (d.h. ein Fahrzeug, in dem die Erfindung ausgeführt werden soll), eine durch Bodenmarkierungen gekennzeichnete Parkbucht 110, ein LKW 120 (LKW = Lastkraftwagen) und ein Pfosten 130. Wie aus der Draufsicht auf die Parkszene 1 erkennbar ist, befindet sich die Parkbucht 110 links neben dem Ego-Fahrzeug 100, und links von der Parkbucht 110 wiederum befindet sich der LKW 120. Der Pfosten 130 ist rechts von dem Ego-Fahrzeug 100 angeordnet. Die in 1 gezeigte Parkszene könnte so beispielsweise auf einer Anzeigeeinrichtung eines Navigationssystems dargestellt sein. Dafür wurden die Parkbucht 110, der LKW 120 und der Pfosten 130 von zwei in 1 nicht gezeigten Sensoren des Ego-Fahrzeugs 100, beispielsweise zwei Kameras, aufgezeichnet. Die Sensoren können z.B. im linken und rechten vorderen Karosseriebereich des Ego-Fahrzeugs 100 angeordnet sein. Aufgrund einer Vorbeifahrt des Ego-Fahrzeugs 100 an den Objekten 120 und 130 erfassen die Sensoren die Objekte 120 und 130 aufeinanderfolgend aus verschiedenen Blickwinkeln, so dass der LKW 120 und der Pfosten 130 in der Anzeigeeinrichtung perspektivisch verzerrt dargestellt sind. In dieser Darstellungsform sind die Objekte 120 und 130 für einen Fahrer des Fahrzeugs 100 nicht identifizierbar.
-
Um aus dem Videobild, welches mit den Kameras parallel zur Fahrbahnebene aufgenommen wurde, die Vogelperspektive zu errechnen und darzustellen, sind räumliche Informationen, z.B. ein Abstand der Pixel im Bild zur Kamera, notwendig. Dies lässt sich entweder eingeschränkt durch Zusatzsensorik wie Ultraschall oder Radar oder aber durch Stereovideo-Algorithmik bzw. sogenannte „Structure from Motion“ Ansätze erreichen. Hat man die räumlichen Informationen der Szene, kann man durch Koordinatentransformation die Vogelperspektive für jede einzelne Kamera errechnen. Fügt man die Vogelperspektiven aller Kameras ortsrichtig zusammen, ergibt sich eine Vogelperspektive auf die gesamte Szene rund um das Fahrzeug 100.
-
2 zeigt eine Darstellung der Szene in der Vogelperspektive aus 1 mit perspektivisch entzerrten Objekten und nicht darstellbaren Bereichen. Wie aus der Darstellung in 2 ersichtlich ist, sind durch Umrechnung der Sensordaten eine rechte Seite des LKW 120 sowie der Pfosten 130 perspektivisch entzerrt dargestellt. Ein für den Sensor des Fahrzeugs 100 sichtbarer Bereich 200 des LKW 120 ist in der Draufsicht als ein rechter Rand des LKW 120 zu sehen. Somit sind der LKW 120 und der Pfosten 130 nun für den Fahrer des Fahrzeugs 100 in der Darstellung als solche erkennbar. Durch die begrenzte Erfassbarkeit der Szene und die Änderung der Perspektive hin zur Vogelperspektive entstehen sogenannte „schwarze“ (d.h. nicht sichtbare) Bereiche bei der Darstellung. Entsprechend ist in 2 ein für den Sensor nicht einsehbarer, also verdeckter und damit nicht real darstellbarer, Bereich 210 des LKW 120 als schraffierte Fläche dargestellt.
-
3 zeigt eine Darstellung der Szene in der Vogelperspektive aus 1 mit perspektivisch entzerrten Objekten und synthetisch eingezeichneten Objekten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 3 zeigt wiederum eine Darstellung der Szene in der Vogelperspektive aus 1 mit perspektivisch entzerrten Objekten. Zusätzlich ist der in 2 als schraffierte Fläche dargestellte nicht einsehbare Bereich des LKW 120 durch ein synthetisches grafisches Element 310 ersetzt worden. Das synthetische grafische Element 310 ist bei dem in 3 gezeigten Ausführungsbeispiel als ein Teilbereich einer Draufsicht auf einen LKW ausgebildet und geeignet, um in den für den Sensor nicht einsehbaren Bereich des LKW 120 eingesetzt zu werden. So ergibt sich für die Darstellung z.B. auf der Anzeigeeinrichtung des Navigationssystems des Fahrzeugs 100 ein Gesamtbild des LKW 120, das sich aus dem von dem Sensor des Fahrzeugs 100 erfassten „realen“ Bereich 200 des LKW 120 und dem synthetischen grafischen Element 310 zusammensetzt. Altemativ kann das synthetische grafische Element 310 auch als eine Gesamtdraufsicht auf einen LKW ausgebildet sein und für den LKW 120 insgesamt eingesetzt werden.
-
Das synthetische grafische Element 310 kann beispielsweise folgend auf einen Schritt des Klassifizierens, in dem der einsehbare Bereich 200 als LKW klassifiziert wurde, aus einer z.B. in einem Speicher des Navigationssystems hinterlegten Datenbank entnommen werden. Die Datenbank kann z.B. unter Anderem synthetische grafische Elemente für unterschiedliche Fahrzeugtypen oder auch Gebäude Verkehrsschilder oder Personen enthalten. Entsprechend dem Schritt des Klassifizierens kann dann aus der Datenbank das passende synthetische grafische Element ausgewählt und in den entsprechenden nicht einsehbaren Bereich eingesetzt werden, um ein für das Auge des Betrachters intuitiv unmittelbar erfassbares Gesamtbild eines Objekts zu schaffen.
-
Die Entscheidung welche Bereiche von Objekten synthetisch und welche „real“ dargestellt werden, kann adaptiv gestaltet werden. So kann das Maß der Vollständigkeit an Informationen zu einem Objekt darüber bestimmen, in wie weit das Objekt synthetisch dargestellt wird. Beispielsweise gilt für den im Vergleich zu dem Fahrzeug 100 hohen LKW 120, dass dort eine reale Darstellung mangels echter Draufsicht nicht möglich sein wird. Erkennt also ein Algorithmus, dass ein Objekt höher ist als der vertikale Sichtbereich der Kamera, so wird eine synthetische Darstellung dieses Objektes erfolgen. Demgegenüber kann beispielsweise ein Blumenkübel oder der Pfahl 130 in der Darstellung in 3 zunächst synthetisch dargestellt werden. Sobald jedoch genügend Informationen über den Bereich des Blumenkübels oder des Pfahls 130 durch Vorbeifahrt des Fahrzeugs 100 aufgenommen wurden, kann auf eine reale Darstellung gewechselt werden. Alternativ kann diese Adaptivität auf ganze Szenen angewendet werden. D.h., sobald ein Objekt der gesamten Szene aufgrund seiner Höhe wie beschrieben synthetisch dargestellt werden muss, wird die gesamte Szene bzw. werden alle Objekte darin synthetisch dargestellt. Dies dient vor allem dazu, den Fahrer nicht durch zu häufige Wechsel der Darstellungsart zu verwirren. Des Weiteren kann der Fahrer des Fahrzeugs 100 den Grad der Adaptivität seinen Bedürfnissen anpassen.
-
4 zeigt ein Ablaufdiagramm eines Verfahrens 400 zum Erzeugen eines Abbildes eines Objekts oder einer Mehrzahl von Objekten in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
Durch Vorbeifahrt eines Fahrzeugs beispielsweise an einer Parklücke erhält mindestens ein Sensor des Fahrzeugs unterschiedliche Blickwinkel auf die Szene und kann somit auch auf die Ausdehnung von mindestens einem Objekt der Szene schließen. So wird in einem ersten Schritt 410 des Verfahrens 400 basierend auf Daten des mindestens einen Sensors ein für den Sensor nicht einsehbarer Bereich des Objekts oder der Objekte bestimmt und es wird durch einen geeigneten Algorithmus versucht das Objekt zu klassifizieren. Bei dem Sensor kann es sich insbesondere um eine Kamera handeln, die beispielsweise an einer Karosserie des Fahrzeugs angeordnet ist. In einem zweiten Schritt 420 wird ein synthetisches grafisches Element bereitgestellt, das geeignet ist, um in den von dem Sensor nicht einsehbaren bzw. von dem mindestens einen Objekt verdeckten Bereich des Objekts eingesetzt zu werden. In einem dritten Schritt 430 erfolgt dann das Einsetzen des synthetischen grafischen Elements in den nicht einsehbaren Bereich des Objekts. Als Ergebnis wird ein Abbild der Szene in der Umgebung des Fahrzeugs aus der virtuellen Kameraposition erzeugt, in dem das Objekt oder die Objekte aufgrund der eingesetzten synthetischen grafischen Elemente so dargestellt sind, dass sie für einen Betrachter der Szene intuitiv erkennbar sind. Bei der virtuellen Kameraposition kann es sich insbesondere um die Vogelperspektive handeln.
-
Die Schritte 410, 420 und 430 des Verfahrens 400 können wiederholt durchgeführt werden, da bei einer Erfassung der Szene aus verschiedenen Blickwinkeln während einer Vorbeifahrt des Fahrzeugs die von den Objekten verdeckten Bereiche immer kleiner werden. So kann die synthetische Darstellung der Objekte der Szene nach und nach ersetzt werden durch die perspektivische Darstellung des Videobildes an der Stelle der Objekte.
-
5 zeigt ein Blockschaltbild eines Videorückspielgels bzw. einer Vorrichtung 500 zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs aus einer virtuellen Kameraposition, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt ist eine Prinzipdarstellung des Fahrzeugs 100, das die Vorrichtung 500 mit einer Einrichtung zum Bestimmen 510, einer Einrichtung zum Bereitstellen 520 sowie einer Einrichtung zum Einsetzen 530 aufweist. Ferner sind zwei Sensoren, z.B. Kameras, 540 gezeigt, von denen je einer an einer linken und rechten Karosserieseite in einem vorderen Bereich angeordnet ist.
-
Die Sensoren 540 sind ausgebildet, um bei einer Vorbeifahrt des Fahrzeugs 100 an mindestens einem Objekt Daten wie eine Größe, einen Abstand vom Sensor oder eine Oberflächenbeschaffenheit bezüglich des Objekts zu erfassen und über eine Schnittstelle an die Einrichtung zum Bestimmen 510 zu übermitteln. Basierend auf den Daten bestimmt die Einrichtung zum Bestimmen 510 unter Verwendung eines geeigneten Algorithmus einen für den Sensor nicht einsehbaren Bereich des Objekts. Eine Information über den nicht einsehbaren Bereich des Objekts wird über eine weitere Schnittstelle an die Einrichtung 520 übermittelt. Dort wird unter Verwendung der Information ein synthetisches grafisches Element bereitgestellt, das geeignet ist, um in den nicht einsehbaren Bereich des Objekts eingesetzt zu werden. Beispielsweise kann das synthetische grafische Element aus einer Datenbank hinterlegter unterschiedlicher Objekte bzw. Objektteile ausgewählt werden. Die Einrichtung 520 überträgt Daten bezüglich des synthetischen grafischen Elements über eine weitere geeignete Schnittstelle an die Einrichtung 530, die ausgebildet ist, um das synthetische grafische Element so in den nicht einsehbaren Bereich des Objekts einzusetzen, dass z.B. auf einer Anzeigeeinrichtung eines Navigationssystems des Fahrzeugs 100 das Abbild des mindestens einen Objekts in der Umgebung des Fahrzeugs aus der virtuellen Kameraposition, insbesondere aus der Vogelperspektive, erzeugt wird.
