-
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs.
-
Bei Fahrzeugen wird allgemein als störend empfunden, dass, unabhängig davon, in welche Richtung der Fahrer seinen Blick wendet, jeweils Bildausschnitte existieren, die von nicht-transparenten Fahrzeugteilen überdeckt werden. Der Fahrer oder auch ein anderer Insasse weiß daher nicht, was sich hinter diesen Fahrzeugteilen verbirgt. Dies kann auf der einen Seite einfach unbequem sein, auf der anderen Seite kann dies aber auch ein großes Sicherheitsrisiko darstellen, insbesondere beim Rückwärtsfahren oder auch beim Abbiegen, wo niedrige Gegenstände oder Lebewesen nicht wahrgenommen werden.
-
Insbesondere bei Cabriolet-Fahrzeugen, bei welchen ausschließlich die A-Säule als Überrollbügel dient, wird auch der Sichtbereich in Fahrtrichtung durch solche Fahrzeugteile stark eingeschränkt.
-
In den 1 und 2 ist eine typische Verdeckung des Sichtfeldes des Fahrers dargestellt. Ein Bildausschnitt 6, welcher durch ein Fahrzeugteil 7, in diesem Fall eine A-Säule eines Kraftfahrzeugs, im Sichtfeld eines Insassen 1 verdeckt wird, ist beispielhaft in 1 dargestellt. In 2 ist die Kontur 9, 10 einer Landschaft oder eines Objekts dargestellt, welches sich sowohl im für den Insassen 1 sichtbaren Bereich 9 wie auch in dem für den Fahrer durch das nicht-transparente Fahrzeugteil 7 abgedeckten Abschnitt 10 des Sichtfelds erstreckt. Schließlich haben die nicht-transparenten Fahrzeugteile auch eine beengende Wirkung auf die Insassen eines Fahrzeugs. Umso transparenter eine Fahrzeugkabine nach außen ist, desto angenehmer und großzügiger empfinden die Insassen im Allgemeinen den Innenraum.
-
Vor diesem Hintergrund ist es aus dem Stand der Technik bekannt, verschiedene nicht-transparente Fahrzeugteile durch Projektion oder auch durch das Vorsehen eines Displays auf den Fahrzeugteilen zu überblenden:
Die
DE 10 2013 203 162 A1 offenbart beispielsweise ein virtuelles Sonnendachsystem zum Vorsehen eines virtuellen Sonnendachs an einer Innenseite eines Fahrzeugs zum Betrachten durch einen Insassen des Fahrzeugs.
-
Die
DE 10 2008 028 303 A1 betrifft ein Anzeigesystem, das eine Szene außerhalb eines Fahrzeugs auf einem im Fahrzeug angeordneten Anzeigemittel anzeigt.
-
Wie in 3 dargestellt, ist bei den bekannten Systemen im Allgemeinen im Außenbereich des Fahrzeugs eine erste Kamera 3 angeordnet, welche wenigstens jenen Bildausschnitt 6 im Sichtfeld des Insassen 1 filmt, welchen dieser aufgrund eines nicht-transparenten Fahrzeugteils 7 nicht einsehen kann. Diese Außenaufnahme wird auf das nicht-transparente Fahrzeugteil 7 projiziert bzw. auf einem darauf angeordneten Display angezeigt. Hierbei erweist es sich jedoch als schwierig, die Bildwiedergabe auf dem nicht-transparenten Fahrzeugteil 7 perspektivisch so exakt zu gestalten, dass an den Rändern des nicht-transparenten Fahrzeugteils 7 zu den für den Insassen 1 einsehbaren Bildausschnitten seines Sichtfelds ein nahtloser kontinuierlicher Übergang des Bildes ohne Verschiebungen und Artefakte entsteht.
-
Ausgehend von diesem Stand der Technik ist es eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, welche das Überblenden von Fahrzeugteilen, insbesondere nicht-transparenter Fahrzeugteile, verbessert und dem Insassen des Fahrzeugs damit ein angenehmeres Fahrgefühl und einen sicheren Fahrbetrieb eines Fahrzeugs ermöglichen. Diese Aufgabe wird durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 5 gelöst. Vorteilhafte Ausgestaltungen werden in abhängigen Ansprüchen beansprucht. Der Wortlaut der Ansprüche wird durch ausdrückliche Bezugnahme zum Inhalt der Beschreibung gemacht.
-
Eine erfindungsgemäße Vorrichtung zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs, insbesondere für einen Fahrer, weist vorzugsweise eine erste Einrichtung, eingerichtet zum Ermitteln eines Sichtfelds des Insassen, insbesondere einen Headtracker mit MEMS und/oder einen optischen Head-tracker, sowie eine erste Kamera, eingerichtet zum Filmen einen Außenbereichs eines Fahrzeugs, auf. Weiterhin weist die Vorrichtung vorzugsweise eine zweite Kamera zum Filmen des Sichtfeldes auf, welche an einer Sichtachse eines Head-Mounted-Devices, insbesondere einer Datenbrille, bzw. des Insassen ausgerichtet ist. Vorzugsweise werden durch die erste Einrichtung, durch die erste Kamera und die zweite Kamera gewonnenen Daten in einer Verarbeitungseinrichtung der Vorrichtung weiter bearbeitet. Hierfür weist die Verarbeitungsvorrichtung vorzugsweise wenigstens ein erstes Modul, eingerichtet zum Bestimmen von ersten Daten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, welche wenigstens einem Bildausschnitt in dem Sichtfeld, welcher von einem oder mehreren Fahrzeugteilen, insbesondere einer Fahrzeugsäule und/oder einer Fahrzeugwand verdeckt wird, entsprechen, auf. Weiterhin weist die Verarbeitungsvorrichtung vorzugsweise ein zweites Modul, eingerichtet zum Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfeldes, welche den wenigstens einen verdeckten Bildausschnitt charakterisieren, und ein drittes Modul, eingerichtet zum Abgleichen der ersten Daten mit den zweiten Daten, auf. In einem vorzugsweise vorhandenen vierten Modul der Verarbeitungseinrichtung werden die ersten Daten auf der Grundlage der zweiten Daten korrigiert und in einer Anzeigeeinrichtung der erfindungsgemäßen Vorrichtung, insbesondere einem Projektor, werden die korrigierten ersten Daten als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt auf dem einen oder den mehreren Fahrzeugteilen vorzugsweise wiedergegeben.
-
Ein erfindungsgemäßes Verfahren zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs weist vorzugsweise folgende Arbeitsschritte auf:
Ermitteln eines Sichtfelds des Insassen, insbesondere mittels Headtrackings; erstes Filmen wenigstens eines Außenbereichs um das Fahrzeug; erstes Bestimmen von ersten Daten auf der Grundlage des erfassten Sichtfelds und des gefilmten Außenbereichs, welche wenigstens einem Bildausschnitt in dem Sichtfeld, welcher von einem oder mehreren Fahrzeugteilen, insbesondere einer Fahrzeugsäule und/oder Fahrzeugwand, verdeckt wird, entsprechen; erstes Wiedergeben der ersten Daten als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt auf dem einen oder den mehreren Fahrzeugteilen; zweites Filmen des Sichtfelds aus einer Perspektive, welche an der Sichtachse des Insassen ausgerichtet ist; zweites Bestimmen von zweiten Daten auf der Grundlage des gefilmten Sichtfelds, welche den wenigstens einen verdeckten Bildausschnitt charakterisieren; Abgleichen der ersten Daten mit den zweiten Daten; Korrigieren der ersten Daten auf der Grundlage der zweiten Daten; und Zweites Wiedergeben der korrigierten ersten Daten als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt auf dem einen oder den mehreren Fahrzeugteilen.
-
Die durch die Ansprüche angegebene Reihenfolge der Arbeitsschritte des erfindungsgemäßen Verfahrens ist bevorzugt. Es ist jedoch auch jede andere Reihenfolge von Arbeitsschritten möglich, bei welcher der für die Erfindung notwendige Informationsfluss gewährleistet ist.
-
Bestimmen im Sinne der Erfindung ist ein Identifizieren von Daten anhand von weiteren Informationen bzw. Randbedingungen. Insbesondere ist das Bestimmen hierbei ein Berechnen einer Ansicht auf der Grundlage von vorhandenen Verdeckungen und einer definierten Perspektive.
-
Erfassen im Sinne der Erfindung ist ein Einlesen von Parameterwerten, insbesondere durch automatische oder manuelle Eingabe und/oder ein Ausführen von Messungen zum Ermitteln der Werte. Ein Modul im Sinne der Erfindung kann sowohl als Hardware-Komponente der Verarbeitungseinrichtung wie auch als deren Software-Komponente ausgebildet sein.
-
Die Erfindung basiert auf dem Ansatz, eine Wiedergabe des verdeckten Bildausschnitts des Sichtfelds eines Insassen eines Fahrzeugs perspektivisch der Position des Insassen im Fahrzeug anzupassen. Erfindungsgemäß wird hierfür einerseits das Sichtfeld des Insassen ermittelt. Der Anmelderin betriebsbekannte Verfahren zum Ermitteln des Sichtfelds sind sogenannte Tracking-Verfahren, z.B. magnetische, akustische und optische Tracking-Verfahren, mit welchen eine Position und eine Orientierung eines Insassen bzw. dessen Kopfes bzw. des HMD auf dem Kopf des Insassen ermittelt werden kann. Aufgrund seiner Genauigkeit kann erfindungsgemäß vorzugsweise ein optisches Tracking-Verfahren zum Einsatz kommen, insbesondere Outside-In-Tracking oder Inside-Out-Tracking. Darüber hinaus wird erfindungsgemäß eine verbesserte Wiedergabe von Daten in einer erweiterten Realität erfindungsgemäß erreicht, indem Fehler, die beim Ermitteln des Sichtfelds des Insassen entstehen, durch einen Abgleich mit einem real gefilmten Sichtfeld des Insassen, ermittelt werden. Fehler können beim Tracking beispielsweise durch Sensoren, Optiken, Algorithmen oder eine Position von natürlichen oder künstlichen Markern entstehen, z.B. wenn die Position von Markern in verschiedenen Fahrzeugen, durch eine Reparatur, Alterung oder thermische Effekte schwankt. Die erfindungsgemäße Vorrichtungen und das erfindungsgemäße Verfahren ermöglichen es, durch eine Korrektur anhand des durch die zweite Kamera gefilmten Sichtfelds des Insassen, eine nahezu perfekte Deckungsgleichheit zwischen einer Wiedergabe durch Projektion auf einem Display und der real sichtbaren Bildausschnitte des Sichtfelds des Fahrers in der erweiterten Realität herzustellen. Durch den Schritt des Abgleichens von Bildinformationen zur Korrektur von Fehlern, welche durch das Head-Tracking selbst oder durch das Zusammensetzen von Daten des Head-Trackings und des Fahrzeugs sowie der Umgebung des Fahrzeugs entstehen, kann eine besonders gute Anpassung der virtuellen Überlagerung an die Realität erreicht werden, insbesondere durch das Vorsehen der zusätzlichen zweiten Kamera 4. Insbesondere ist der Vergleich der Bilddaten nicht abhängig von theoretischen Überlegungen und Messungen in Bezug auf die Position und Blickrichtung des Insassen.
-
In einer vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung ist die erste Kamera eingerichtet, um außen am Fahrzeug befestigt zu werden und im Wesentlichen jeden Teil des Außenbereichs zu filmen, welcher im Sichtfeld des Fahrers durch das eine oder die mehreren Fahrzeugteile verdeckt wird.
-
In einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung ist die zweite Kamera eingerichtet, im Inneren des Fahrzeugs befestigt zu werden, insbesondere am Kopf des Insassen, an einer Datenbrille und/oder an einem Head-Mounted-Device (HMD).
-
In einer weiteren vorteilhaften Ausgestaltung der erfindungsgemäßen Vorrichtung ist die zweite Kamera eingerichtet, in einer Sichtachse des Insassen, eines Head-Mounted-Devices oder einer Brille angeordnet zu werden. Durch das Anordnen der zweiten Kamera am Kopf des Insassen in dessen Sichtachse kann der wiedergegebene verdeckte Bildausschnitt exakt so korrigiert werden, dass er an das Sichtfeld und die Perspektive des Fahrers angepasst ist.
-
Die im Vorstehenden beschriebenen Aspekte der Erfindung und die dazugehörigen, zur Weiterbildung der Vorrichtung zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs offenbarten Merkmale und Vorteile gelten auch für die nachstehend beschriebenen Aspekte der Erfindung und die in Bezug auf dazugehörige Weiterbildungen des Verfahrens zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen eines Fahrzeugs offenbarten Merkmale und Vorteile entsprechend und umgekehrt.
-
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens betrifft das erste Filmen im Wesentlichen jenen Teil des Außenbereichs, welcher im Sichtfeld des Fahrers durch das eine oder die mehreren Fahrzeugteile verdeckt wird. Hierdurch können Informationen über den Bildabschnitt des Sichtfelds gewonnen werden, welcher durch das Fahrzeugteil verborgen wird.
-
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens schließt das Abgleichen ein Prüfen ein, ob die zweiten Daten inhaltlich mit den ersten Daten zusammenpassen, insbesondere ob wenigstens ein bestimmtes Merkmal und/oder Objekt des gefilmten Außenbereichs mit dem gefilmten Sichtfeld zusammenpasst. Durch eine inhaltliche Prüfung der Daten können Kontextinformationen in den einzelnen Bildabschnitten verwendet werden, um die erfindungsgemäße Bildkorrektur durchzuführen. Hierdurch können Fehler, welche durch alleiniges Fortführen von Verläufen bei einer Korrektur entstehen, vermieden werden.
-
In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens weist dieses des Weiteren den Schritt des Erkennens wenigstens eines Merkmals und/oder Objekts auf, welches sich sowohl im gefilmten Außenbereich als auch im gefilmten Sichtfeld erstreckt. Indem ein spezielles Merkmals bzw. Objekt gleich identifiziert wird, kann die Korrektur anhand der bekannten Informationen über ein solches Merkmal oder Objekt, z.B. Position von Scheinwerfern an einem Fahrzeug, als Grundlage für den Arbeitsschritt des Abgleichens, korrigiert werden.
-
Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung in Zusammenhang mit den Figuren.
-
Es zeigt:
-
1 eine teilweise schematische Darstellung eines verdeckten Bildausschnitts im Sichtfeld eines Insassen;
-
2 eine teilweise schematische Darstellung einer durch das gesamte Sichtfeld eines Insassen verlaufenden Kontur;
-
3 eine teilweise schematische Darstellung eines Systems des Standes der Technik zur Vervollständigung des Sichtfelds eines Insassen;
-
4 eine teilweise schematische Darstellung des Sichtfelds eines Insassen in einer erweiterten Realität;
-
5 eine teilweise schematische Darstellung einer Ausführungsform einer erfindungsgemäßen Vorrichtung;
-
6 eine teilweise schematische Darstellung eines Sichtfelds eines Insassen, wobei die virtuelle Realität durch das erfindungsgemäße Verfahren korrigiert ist und
-
7 ein Flussdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens.
-
In der in 3 dargestellten Vorrichtung des Stands der Technik wird ein Bildausschnitt 6, welcher für einen Insassen 1 durch ein nicht-transparentes Fahrzeugteil 7 verdeckt wird, mit einer ersten Kamera 3, welche vorzugsweise außen am Fahrzeug angeordnet ist, gefilmt. Dieses Bild wird auf der Grundlage einer vorbestimmten, fiktiven Position des Insassen 1 mittels eines Projektors 8 in einer Projektion 13 als virtuelle Realität auf das nicht-transparente Fahrzeugteil 7 überblendet.
-
Hierbei entstehen, wie in 4 im Sichtfeld eines Insassen 1 beispielhaft gezeigt, durch Fehler der tatsächlichen Position des Insassen 1 in Bezug auf eine bestimmte Position, durch fehlerbehaftete Installation der ersten Kamera 3 sowie etwaiger technischer Einrichtungen zur Bestimmung der Blickrichtung des Insassen 1 Abweichungen 12 der überblendeten Darstellung 11 eines Objekts von der tatsächlichen durch einen Fahrer wahrnehmbaren Umgebung 9. Diese Abweichungen 12 können, wie dargestellt, eine Verschiebung der Überblendung in vertikaler Richtung hervorrufen. Alternativ oder zusätzlich kann die Überblendung 11 aber auch in horizontaler Richtung verschoben sein, die Überblendung 11 kann verdreht sein, und/oder die Berechnung der virtuellen Entfernung der Überblendung 11 zum Insassen 1, die Orientierung und die Perspektive können fehlerhaft sein, was zu einer fehlerhaften Größe der dargestellten Überblendung 11 oder auch zu Artefakten führt.
-
5 zeigt eine Ausführungsform einer erfindungsgemäßen Vorrichtung. Bei dieser werden Position und Blickrichtung des Insassen 1 vorzugsweise durch einen Headtracker 2 bestimmt, welcher zum Ermitteln eines Sichtfelds des Insassen 1 wenigstens die Bewegung des Kopfes des Insassen 1 nachverfolgt. Hierfür können sowohl Headtracker mittels eines Inertial-Sensors (IMU) wie auch Outside-In-Tracking oder Inside-Out-Tracking zum Einsatz kommen, welche auf optischen Tracking-Methoden basieren. Aufgrund der mittels des Headtrackers 2 gewonnenen Daten kann das Sichtfeld des Insassen 1 ermittelt werden. Informationen über dieses Sichtfeld werden vorzugsweise an eine Verarbeitungseinrichtung 5 weitergegeben. Vorzugsweise sind der Headtracker 2 und die Verarbeitungseinrichtung 5 in einem Head-Mounted-Device integriert. Die Verarbeitungseinrichtung 5 verarbeitet diese Informationen über das Sichtfeld sowie eine durch eine erste Kamera 3 gefilmte Ansicht des Außenbereichs des Fahrzeugs und bestimmt erste Daten mit Bildinformationen, welche einem durch das Fahrzeugteil 7 verdeckten Bildausschnitt im Sichtfeld des Insassen 1 entsprechen. Auf der Grundlage dieser ersten Daten wird ein Bild des verdeckten Bildausschnitts 6 aus der Perspektive des Insassen 1 erzeugt, welches mittels eines Projektors 8 auf eine dem Fahrerraum zugewandte Fläche des nicht-transparenten Fahrzeugteils 7 projiziert wird. Der Projektor 8 ist dabei vorzugsweise in der Weise angeordnet, um eine freie Sicht auf das Fahrzeugteil 7 zu haben. Weiter vorzugsweise ist auch der Projektor 8 in der Sichtachse S des Insassen 1 angeordnet, vorzugsweise auf einem Head-Mounted-Device. Dies könnte beispielsweise eine Brille mit zweiter Kamera 4 und ohne Displays aber mit Projektor 8 sein. Alternativ zu einem Projektor kann auf dem Fahrzeugteil 7 auch ein Display, beispielsweise ein OLED-Display, angebracht sein. Eine zweite Kamera 4, welche in der Sichtachse S des Insassen 1 angeordnet ist und vorzugsweise an dieser ausgerichtet ist, filmt das Sichtfeld des Insassen 1 aus dessen Perspektive, insbesondere aus der Perspektive von dessen Augen. Sowohl die Bilddaten des durch die zweite Kamera 4 gefilmten Sichtfelds, als auch die Bilddaten, welche auf der Grundlage des durch den Headtracker 2 ermittelten Sichtfelds und den von der ersten Kamera 3 gefilmten Außenbereich des Fahrzeugs ermittelt wurden, werden vorzugsweise in der Verarbeitungseinrichtung 5 gesammelt. Diese weist vorzugsweise ein erstes Modul auf, eingerichtet zum Bestimmen von ersten Daten auf der Grundlage des erfassten Sichtfelds des gefilmten Außenbereichs, welche wenigstens den Bildausschnitt 6 in dem Sichtfeld, welches von dem Fahrzeugteil 7 verdeckt wird, entsprechen. Des Weiteren weist die Verarbeitungseinrichtung 5 vorzugsweise ein zweites Modul auf, welches auf der Grundlage des mit der zweiten Kamera 4 gefilmten Sichtfelds zweite Daten bestimmt, welche den wenigstens einen verdeckten Bildausschnitt charakterisieren. Hierbei kommen insbesondere Konturen der Landschaft oder von Objekten infrage, welche sich sowohl im sichtbaren Bildausschnitt als auch im nicht-sichtbaren Bildausschnitt 6 des Sichtfelds des Insassen 1 erstrecken. Abweichungen an diesen Konturen können hierbei ohne großen Aufwand festgestellt werden, da in dem von der zweiten Kamera 4 gefilmten Sichtfeld sowohl die sichtbare Kontur 9 als auch die als durch das nicht-transparente Fahrzeugteil 7 verdeckt berechnete Kontur 11, die durch den Projektor 8 auf das nicht-transparente Fahrzeugteil 7 projiziert wird, enthalten sind.
-
Weiter vorzugsweise weist die Verarbeitungseinrichtung 5 ein drittes Modul auf, welches zum Abgleichen der ersten Daten mit den zweiten Daten eingerichtet ist. Vorzugsweise ist ein viertes Modul vorhanden, welches die ersten Daten auf der Grundlage der zweiten Daten korrigiert, d.h. welches die Bildinformationen des verdeckten Bildausschnitts 6 auf der Grundlage der Informationen über das reale Sichtfeld des Insassen 1, welches durch die erste Kamera 4 gewonnen wird, korrigiert.
-
Die korrigierten ersten Daten, d.h. die Bildinformationen, werden dann vorzugsweise als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt 6 auf dem oder der Mehrzahl von nicht-transparenten Fahrzeugteilen 7 wiedergegeben bzw. auf diese mit dem Projektor 8 vorzugsweise überblendet.
-
Mit der erfindungsgemäßen Vorrichtung kann die von dem Projektor erzeugte Überblendung des wenigstens einen nicht-transparenten Fahrzeugteils 7 ständig in Echtzeit in der Weise korrigiert werden, dass ein für den Insassen 1 wirklichkeitsnahes Gesamtbild mit der durch transparente Fahrzeugteile sichtbaren Umgebung des Fahrzeugs dargestellt wird. Der Insasse 1 braucht hierfür insbesondere keine spezielle Einrichtung zu tragen, z.B. ein Head-Mounted-Device oder auch eine spezielle Datenbrille. Die zweite Kamera 4 kann möglichst klein gehalten werden und kann für den Insassen 1 kaum wahrnehmbar an ihm selbst oder an dessen normaler optischen Brille abgebracht werden.
-
Ein wichtiger Aspekt der Erfindung ist hierbei, dass die wenigstens zweite Kamera 4 an der Sichtachse S des Insassen 1 ausgerichtet ist bzw. dass die Sichtachse der zweiten Kamera 4 mit der Sichtachse S des Insassen 1 identisch ist.
-
6 zeigt schematisch anhand des Sichtfelds des Insassen 1, wie eine Korrektur durch die Verarbeitungsvorrichtung 5 vorzugsweise erfindungsgemäß vorgenommen wird. Anhand der Bildinformationen der zweiten Kamera 4 über den Außenbereich in dem wenigstens einen nicht-verdeckten Bildausschnitt des Sichtfelds kann eine Abweichung 12 der Wiedergabe der Kontur 13 eines Objekts oder der Landschaft, deren Position hinter dem Fahrzeugteil 7 mit dem durch den Headtracker 2 ermitteltem Sichtfeld und einer mit der ersten Kamera 3 erzeugten Außenaufnahme bestimmt wurde, festgestellt werden. Die ersten Daten, welche dem durch das Fahrzeugteil 7 verdeckten Bildausschnitt entsprechen, werden dann vorzugsweise auf der Grundlage der Abweichung 12 so korrigiert bzw. verschoben bzw. rotiert bzw. perspektivisch korrigiert, dass sich an den Rändern des nicht-transparenten Fahrzeugteils 7 ein stetiger Übergang zwischen Konturen des Objekts oder der Landschaft ergeben. Hierdurch wird ein besonders realistisches Bild der erweiterten Realität für den Benutzer erreicht. Artefakte im Gesamtbild werden wesentlich reduziert.
-
7 zeigt teilweise schematisch den Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens 100 zur Wiedergabe von Daten in einer erweiterten Realität für einen Insassen 1 eines Fahrzeugs.
-
Zunächst wird vorzugsweise ein Sichtfeld des Insassen 1 ermittelt 101 und ein Außenbereich um das Fahrzeug, insbesondere jener Außenbereich hinter einem nicht-transparenten Fahrzeugteil 7, gefilmt 102. Auf der Grundlage des ermittelten Sichtfelds, des gefilmten Außenbereichs sowie der Position des Insassen 1 werden vorzugsweise erste Daten bestimmt 103, welche Bilddaten wenigstens eines Bildausschnitts 6 in dem Sichtfeld, welches von einem oder mehreren nicht-transparenten Fahrzeugteilen 7 verdeckt wird/werden, entsprechen. Diese ersten Daten werden als erweiterte Realität für den wenigstens einen verdeckten Bildausschnitt auf dem einen oder den mehreren Fahrzeugteilen 7 wiedergegeben 104.
-
Zur Kontrolle, ob diese ersten Daten tatsächlich dem verdeckten Bildausschnitt 6 aus Sicht des Insassen 1 entsprechen, wird das Sichtfeld vorzugsweise mittels einer zweiten Kamera 4 gefilmt 105. Die Kamera ist dabei vorzugsweise an der Sichtachse S des Insassen 1 ausgerichtet. Anhand des durch die zweite Kamera 4 gefilmten Sichtfelds werden zweite Daten bestimmt 106, welche den wenigstens einen verdeckten Bildausschnitt 6 charakterisieren. Dies können insbesondere markante Punkte im verdeckten Bildausschnitt 6 wie auch im nicht-verdeckten Bildausschnitt im Sichtfeld des Insassen 1 sein. Beispielsweise können hierfür die Kontur von Objekten oder die Kontur der Umgebung oder andere Merkmale herangezogen werden. Beispielsweise könnte dies die Kontur eines Fahrzeugs sein oder auch die Position der Scheinwerfer eines entgegenkommenden Fahrzeugs, deren Abstand voneinander bekannt ist. Vorzugsweise weist das erfindungsgemäße Verfahren hierbei den weiteren Arbeitsschritt des Erkennens wenigstens eines solchen Merkmals und/oder Objekts auf 106a. In einem weiteren Arbeitsschritt dient dieses als Grundlage für einen Abgleich der ersten Daten mit den zweiten Daten 107. Die ersten Daten, welche den verdeckten Bildausschnitt 6 repräsentieren, werden hierbei vorzugsweise auf der Grundlage der zweiten Daten, welche die Information zum Abgleichen betreffen, korrigiert 108, d.h. der verdeckte Bildausschnitt 6 bzw. die wiedergegebene Bildinformation des Außenbereichs, welcher durch das wenigstens eine Fahrzeugteil 7 verdeckt wird, werden in der Weise korrigiert, dass sich am Rand des Fahrzeugteils 7 (am Übergang zwischen dem überblendeten Bildausschnitt und dem real wahrgenommenen Bildausschnitt) für den Insassen 1 ein stetiger Übergang beim Betrachten einer Wiedergabe 109 der korrigierten ersten Daten als erweiterte Realität ergibt. Bei dem Abgleich 107 wird vorzugsweise geprüft 107a, ob die zweiten Daten inhaltlich mit den ersten Daten, insbesondere wenigstens ein bestimmtes Merkmal und/oder Objekt im gefilmten Außenbereich und im gefilmten Sichtfeld, zusammenpassen. Insbesondere wird hierbei, wie erwähnt, auf Konturen des Merkmals und/oder des Objekts abgestellt, welches sich möglichst stetig in von dem nicht-verdeckten Bildausschnitt in den verdeckten Bildausschnitt 6 fortsetzen sollen.
-
Bezugszeichenliste
-
- 1
- Insasse
- 2
- erste Einrichtung
- 3
- erste Kamera
- 4
- zweite Kamera
- 5
- Verarbeitungseinrichtung
- 6
- verdeckter Bildausschnitt
- 7
- nicht-transparentes Fahrzeugteil
- 8
- Anzeigeeinrichtung
- 9, 10
- Kontur einer Landschaft/Objekt im Sichtfeld eines Insassen
- 11
- berechnete Position einer verdeckten Kontur
- 12
- Fehler/Abweichung
- 13
- Projektion
- 14
- korrigierte Position einer verdeckten Kontur
- 15
- Brille
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102013203162 A1 [0005]
- DE 102008028303 A1 [0006]
